特許 7053459 認知負荷測定のためのＥＥＧ信号を処理する方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-04

(45)【発行日】2022-04-12

(54)【発明の名称】認知負荷測定のためのＥＥＧ信号を処理する方法およびシステム

(51)【国際特許分類】

   A61B 5/372 20210101AFI20220405BHJP

【ＦＩ】

A61B5/372

【請求項の数】 15

(21)【出願番号】P 2018517554

(86)(22)【出願日】2016-10-04

(65)【公表番号】

(43)【公表日】2018-11-22

(86)【国際出願番号】 IB2016055914

(87)【国際公開番号】W WO2017060804

(87)【国際公開日】2017-04-13

【審査請求日】2018-06-05

【審判番号】

【審判請求日】2021-01-15

(31)【優先権主張番号】3778/MUM/2015

(32)【優先日】2015-10-05

(33)【優先権主張国・地域又は機関】IN

(73)【特許権者】

【識別番号】510337621

【氏名又は名称】タタ コンサルタンシー サービシズ リミテッド

【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】Ｎｉｒｍａｌ Ｂｕｉｌｄｉｎｇ，９ｔｈ Ｆｌｏｏｒ，Ｎａｒｉｍａｎ Ｐｏｉｎｔ，Ｍｕｍｂａｉ ４０００２１，Ｍａｈａｒａｓｈｔｒａ，Ｉｎｄｉａ．

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】ダス、ラジャール クマー

(72)【発明者】

【氏名】シンハ、アニルダッハ

(72)【発明者】

【氏名】チャタジー、デバトリ

(72)【発明者】

【氏名】ダッタ、シェヤシ

(72)【発明者】

【氏名】ガバス、ラフル ダシャラス

【合議体】

【審判長】福島 浩司

【審判官】伊藤 幸仙

【審判官】渡戸 正義

(56)【参考文献】

【文献】国際公開第２０１５／０４０５３２（ＷＯ，Ａ２）

【文献】米国特許第１１１５４２２９（ＵＳ，Ｂ２）

【文献】欧州特許出願公開第３３５９０２２（ＥＰ，Ａ１）

【文献】Ｃｈｒｉｓ Ｂｅｒｋａ ｅｔ ａｌ．，”Ｒｅａｌ－Ｔｉｍｅ Ａｎａｌｙｓｉｓ ｏｆ ＥＥＧ Ｉｎｄｅｘｅｓ ｏｆ Ａｌｅｒｔｎｅｓｓ，Ｃｏｇｎｉｔｉｏｎ，ａｎｄ Ｍｅｍｏｒｙ Ａｃｑｕｉｒｅｄ Ｗｉｔｈ ａ Ｗｉｒｅｌｅｓｓ ＥＥＧ Ｈｅａｄｓｅｔ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｈｕｍａｎ－Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒａｃｔｉｏｎ，２００４年，Ｖｏｌ．１７，Ｎｏ．２，ｐ．１５１－１７０

【文献】Ｋｉｌ－Ｓａｎｇ Ｙｏｏ ｅｔ ａｌ．，”Ｒｅｍｏｖａｌ ｏｆ Ｅｙｅ Ｂｌｉｎｋ Ａｒｔｉｆａｃｔｓ Ｆｒｏｍ ＥＥＧ Ｓｉｇｎａｌｓ Ｂａｓｅｄ ｏｎ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ”，２００７ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｖｅｒｇｅｎｃｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，２００７年，ｐ．２００５－２００８

(58)【調査した分野】(Int.Cl.，ＤＢ名)

A61B 5/369 - 5/386

(57)【特許請求の範囲】

【請求項1】

認知負荷の測定のためのユーザの脳波（ＥＥＧ）信号を処理するための方法であって、
ａ．脳波信号記録デバイス（２０２）を使用して前記ユーザの前記脳波信号をキャプチャするステップであって、前記脳波信号は刺激に対応して生成される、キャプチャするステップと、
ｂ．アーチファクト検出モジュール（２０４）を使用してキャプチャした前記脳波信号における複数のシステムアーチファクトを検出するステップと、
ｃ．ノイズウィンドウ除去モジュール（２０６）を使用して前記脳波信号からノイズウィンドウを除去するステップと、
ｄ．瞬目範囲検出モジュール（２０８）を使用して前記脳波信号において瞬目範囲を検出するステップと、
ｅ．瞬目範囲フィルタリングモジュール（２１０）を使用して前記脳波信号から検出された前記瞬目範囲をフィルタリングするステップと、
ｆ．認知負荷測定モジュール（２１２）を使用して、前記ユーザの前記認知負荷を測定するためにフィルタリングされた脳波信号を利用し、続いて、前頭部頭皮のＥＥＧ電極の選択されたリード／チャネル間の認知負荷の標準偏差の変動を用いて、測定された前記認知負荷に対する前記ユーザにおける精神作業負荷のレベルの違いを計算するステップと、を含み、
前記リード／チャネル間の認知負荷は、ストループテストを介し、アルファ帯およびシータ帯の両方についての平均周波数の変化の積として取得され、前記平均周波数の変化は、前記ストループテストにおけるストループ刺激に対するＥＥＧ信号と、前記ストループ刺激付与前の初期値との間での変化である
ことを特徴とする方法。

【請求項2】

前記刺激はストループテストである
請求項１に記載の方法。

【請求項3】

前記複数のシステムアーチファクトは前記脳波信号記録デバイス（２０２）に関するアーチファクトを含む
請求項１に記載の方法。

【請求項4】

前記脳波信号記録デバイス（２０２）に関する前記システムアーチファクトは、電源干渉、インピーダンス変動、スプリアスノイズ、電気ノイズ、およびこれらの任意の組み合わせから成るグループから選択される
請求項３に記載の方法。

【請求項5】

前記脳波信号の前記ノイズウィンドウのノイズレベルは、脳波信号記録デバイス（２０２）の各チャンネルに関連付けられたメタデータとして示される
請求項１に記載の方法。

【請求項6】

前記ｃ．において、前記脳波信号を非重複のウィンドウに細分して、前記非重複のウィンドウの脳波信号の標準偏差を算出することをさらに含む
請求項５に記載の方法。

【請求項7】

前記ｃ．において、前記脳波信号を非重複のウィンドウに細分して、前記脳波信号における対称性がない測定値を供する信号スキュー測定値を測定することをさらに含む
請求項１に記載の方法。

【請求項8】

前記瞬目範囲は、テンプレートベース相互相関、テンプレートベース自動相関ベース、およびクラスタリングベース方法のうちの少なくとも１つを使用して検出される
請求項１に記載の方法。

【請求項9】

前記瞬目範囲は、選択的な高域フィルタを使用して前記脳波信号からフィルタリングされる
請求項１に記載の方法。

【請求項10】

少なくとも２つの対応する刺激の中から導出された前記ユーザの精神作業負荷を、低精神作業負荷と高精神作業負荷に識別する
請求項１に記載の方法。

【請求項11】

低精神作業負荷と高精神作業負荷のレベルの認知負荷を測定するために前頭部頭皮のＥＥＧ電極を配置する
請求項１０に記載の方法。

【請求項12】

認知負荷の測定のためのユーザの脳波信号を処理するためのシステム（２００）であって、
ａ．プロセッサと、
ｂ．前記プロセッサに結合されるデータバスと、
ｃ．コンピュータプログラムコードを具体化するコンピュータ使用可能媒体であって、前記コンピュータ使用可能媒体は前記データバスに結合され、前記コンピュータプログラムコードは、前記プロセッサによって実行可能な命令を含み、かつ、
前記ユーザの前記脳波信号をキャプチャするように適応される脳波信号記録デバイス（２０２）であって、前記脳波信号は刺激に対応して生成される、脳波信号記録デバイスと、
キャプチャした前記脳波信号における複数のシステムアーチファクトを検出するように適応されるアーチファクト検出モジュール（２０４）と、
前記脳波信号からノイズウィンドウを除去するように適応されるノイズウィンドウ除去モジュール（２０６）と、
前記脳波信号において瞬目範囲を検出するように適応される瞬目範囲検出モジュール（２０８）と、
前記ユーザの前記認知負荷を測定するために前記脳波信号から検出された前記瞬目範囲をフィルタリングするように適応される瞬目範囲フィルタリングモジュール（２１０）と、
前記ユーザの前記認知負荷を測定するためにフィルタリングされた脳波信号を利用し、続いて、前頭部頭皮のＥＥＧ電極の選択されたリード／チャネル間の認知負荷の標準偏差の変動を用いて、測定された前記認知負荷に対する前記ユーザにおける精神作業負荷のレベルの違いを計算するように適応される認知負荷測定モジュール（２１２）と、を実行させるように構成される、コンピュータ使用可能媒体と、を備え、
前記リード／チャネル間の認知負荷は、ストループテストを介し、アルファ帯およびシータ帯の両方についての平均周波数の変化の積として取得され、前記平均周波数の変化は、前記ストループテストにおけるストループ刺激に対するＥＥＧ信号と、前記ストループ刺激付与前の初期値との間での変化である
ことを特徴とするシステム。

【請求項13】

前記瞬目範囲は、選択的な高域フィルタを使用して前記脳波信号からフィルタリングされる
請求項１２に記載のシステム。

【請求項14】

前記複数のシステムアーチファクトは前記脳波信号記録デバイス（２０２）に関するアーチファクトを含む
請求項１２に記載のシステム。

【請求項15】

前記脳波信号記録デバイス（２０２）に関する前記アーチファクトは、電源干渉、インピーダンス変動、スプリアスノイズ、電気ノイズ、およびこれらの任意の組み合わせから成るグループから選択される
請求項１４に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、一般的に、認知負荷測定に関する。とりわけ、本願は、ユーザの認知負荷測定のための脳波（ＥＥＧ）信号を前処理するための方法およびシステムを提供する。

【背景技術】

【0002】

脳波記録法（ＥＥＧ）は、典型的には、脳活動を監視するための非侵襲的な方法であり、この方法は、脳が認知活動源であるため、ユーザの認知負荷を測定するためにさらに利用される。認知負荷のアセスメントは、コンテンツ生成、電子デバイス上でのテスト用のさまざまな応用、および人的交流に関する応用などのさまざまな応用を有することができる。さまざまな応用を有するにもかかわらず、ＥＥＧ信号は、超低振幅信号であるため、さまざまなシステムアーチファクトをこうむる可能性が高く、それによって、認知負荷を測定している間に示される精度は低くなる。

【0003】

先行技術文献には、ＥＥＧ信号におけるシステムアーチファクトを検出しかつ除去するためのさまざまな解決策が示されている。しかしながら、先行技術文献では、低解像度デバイスによるリアルタイムの信号解析にさらに利用され得る、システムアーチファクトによって悪影響を受けた低解像度のＥＥＧ信号の前処理が検討されたことはない。

【0004】

先行技術文献では、瞬目範囲検出が必要されない場合がある、ＥＥＧ信号をフィルタリングするための、独立成分解析（ＩＣＡ）または適応フィルタベースアプローチが適用されることが開示されている。しかしながら、独立成分解析（ＩＣＡ）または適応フィルタベースアプローチは、多数の電極を有する高解像度システム（３２または６４チャネルＥＥＧデバイス）に制限される。それに対して、低解像度システムについて、かかるアプローチでは、リード間の分離が大きいため、精度の低い結果が生じる。先行技術のいくつかでは、システムアーチファクトによる悪影響を受けた部分を受け入れないが、かかるアプローチではかなりのデータ損失が生じると思われる。さらに、先行技術で説明されるアプローチのほとんどは、認知負荷を測定するためのリアルタイムの信号解析において使用できない。

【0005】

先行技術文献では、目の近くに配置された追加の電極を使用することによって瞬目を検出するための眼電図ベースアプローチが開示されている。信号は、増幅された後、ＥＥＧ信号から減算されて、クリーン信号を抽出する。しかしながら、多数回使用するような、ＢＣＩ関連の応用における追加の電極の使用は、あまり実際的な解決策ではない。低解像度デバイスに対して瞬目を検出するためのいくつかのアプローチが使用されている。先行技術文献では、瞬目の検出のための数値微分に基づく方法を使用するアプローチが開示されている。別のアプローチでは、ＥＥＧ信号からの瞬目の自動検出のための相関ベースの方法が使用されている。他のアプローチは、例えば、瞼の状態を検出した値を算出することによって瞬目が検出されるといった、見開いた目の画像と閉じた目の画像との間の相関から瞬目を検出することである。アプローチのうちの１つは、眼球運動を検出するためのヒストグラム逆投影および内部運動の瞼の動きを適用している。別のアプローチは、この目的のために信号全体を通して使用されるＨｉｌｂｅｒｔ－Ｈｕａｎｇ変換（ＨＨＴ）とすることができる。しかしながら、該アプローチには、非瞬き範囲の特徴量も変更されるといった大きな欠点がある。

【0006】

よって、上記の背景技術を考慮して、ユーザの異なるレベルの精神作業負荷の間で差別化するために利用可能である、低解像度デバイスに対するＥＥＧ信号の前処理が可能であることで、これらのデバイスを、多くの配設を必要とする非医療用の脳型コンピュータインターフェースアプリケーションに有用とする解決策が必要とされていることが明らかである。前処理ブロックは、認知負荷測定に対して低解像度のＥＥＧ信号からシステムアーチファクトを除去する。そのために、認知負荷測定のためのＥＥＧ信号を前処理するための方法およびシステムが所望されている。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の方法、システム、およびハードウェア使用可能性について説明する前に、本発明は、本開示に明示的に示されない本発明の複数の可能な実施形態があり得るため、特定のシステム、および説明される方法論に限定されないことは理解されたい。本明細書において使用される専門用語が特定のバージョンまたは実施形態のみを説明する目的のためのものであり、添付の特許請求の範囲によってのみ限定されることになる本発明の範囲を限定することを意図していない。

【0008】

本願は、認知負荷測定のためのユーザの脳波信号を前処理するための方法およびシステムを提供する。

【課題を解決するための手段】

【0009】

本願は、認知負荷測定のためのユーザの脳波信号を前処理するための方法およびシステム（２００）を提供する。上記のシステム（２００）は、ユーザの脳波信号をキャプチャするように適応される脳波信号記録デバイス（２０２）であって、脳波信号は刺激に対応して生成される、脳波信号記録デバイスと、キャプチャした脳波信号における複数のシステムアーチファクトを検出するように適応されるアーチファクト検出モジュール（２０４）と、上記の脳波信号からノイズウィンドウを除去するように適応されるノイズウィンドウ除去モジュール（２０６）と、上記の脳波信号において瞬目範囲を検出するように適応される瞬目範囲検出モジュール（２０８）と、ユーザの認知負荷を測定するための脳波信号から、上記の検出された瞬目範囲をフィルタリングするように適応される瞬目範囲フィルタリングモジュール（２１０）と、ユーザの認知負荷を測定するためにフィルタリングされた脳波信号を利用し、続いて、測定された認知負荷についての前頭部頭皮のＥＥＧ電極の空間分布の変動を使用してユーザに対する異なるレベルの精神作業負荷を計算するように適応される認知負荷測定モジュール（２１２）とを備える。

【0010】

前述の概要のみならず、好ましい実施形態の以下の詳細な説明は、添付の図面と併せて読むとより良く理解される。本発明を例示する目的で、図面には本発明の例示の構成が示されているが、本発明は開示された特定的な方法およびシステムに限定されない。

【図面の簡単な説明】

【0011】

【図1】認知負荷測定のためにユーザの脳波信号を前処理するためのプロセッサ実施方法を示すフローチャート

【図2】認知負荷測定のためにユーザの脳波信号を前処理するためのシステムアーキテクチャを示すブロック図

【図3】瞬目による生のＥＥＧ信号を示すグラフ

【図4】さまざまな方法による検出済み瞬目を示すグラフ

【図5】低水準および高水準のストループカラーテストの正規化ＳＴＤを示すグラフ

【図6】信号の前処理後の低水準および高水準のストループカラーテストに対する正規化識別指数の改善を示すグラフ

【発明を実施するための形態】

【0012】

本発明の特徴全てを示すいくつかの実施形態について、ここで詳細に論じる。

【0013】

「備える」、「有する」、「包含する」、および「含む」という言葉、およびこれらの他の形態は、意味が同義であり、かつ、これらの言葉のいずれか１つに続く項目（単数または複数）が、かかる項目（単数または複数）の網羅的な列挙を意味するものでも、列挙された項目（単数または複数）のみに限定することを意味するものでもないという点において、オープンエンドであることが意図されている。

【0014】

本明細書および添付の特許請求の範囲において使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」が、その文脈において別段明確に指し示していない限り、複数物への言及を含んでいることも留意されなければならない。本明細書に説明されるものと同様または同等のいずれのシステムおよび方法も本発明の実施形態の実践または検査において使用可能であるが、好ましいシステムおよび方法についてここで説明する。

【0015】

開示された実施形態は本発明の単なる例示であり、さまざまな形態で具体化されてよい。

【0016】

図に示される要素は、以下でより詳細に説明されるように相互運用性がある。詳細な説明を示すがその前に、以下の論述の全てが、特定の実装形態が説明されているにも関わらず、限定ではなく本質的に例示であることは留意されたい。例えば、該実装形態の選択された態様、特徴、または構成要素がメモリに記憶されていると図示されているが、損耗を警告するシステムおよび方法に一致するシステムおよび方法の全てまたは一部は、他の機械可読媒体に対して、記憶、分布、または読み取られてよい。

【0017】

上述される技法は、プロセッサ、プロセッサによって読み取り可能および／または書き込み可能な記憶媒体（例えば、揮発性および不揮発性メモリならびに／または記憶要素を含む）、複数の入力ユニット、および複数の出力デバイスの任意の数の組み合わせを含む、プログラマブルコンピュータ上で実行する（またはこれによって実行可能な）１つまたは複数のコンピュータプログラムにおいて実装されてよい。プログラムコードは、複数の入力ユニットのいずれかを使用して入れられた入力に適用されて、説明される機能を実行し、かつ複数の出力デバイスのいずれかに対して表示される出力を生成することができる。

【0018】

以下の特許請求の範囲内のそれぞれのコンピュータプログラムは、アセンブリ言語、機械言語、高レベル手続き型プログラミング言語、またはオブジェクト指向プログラミング言語などの任意のプログラミング言語で実装されてよい。プログラミング言語は、例えば、コンパイル型またはインタプリタ型プログラミング言語であってよい。このようなコンピュータプログラムのそれぞれは、コンピュータプロセッサによる実行のために、機械可読記憶デバイスにおいて実体的に具体化されたコンピュータプログラム製品において実装可能である。

【0019】

本発明の方法のステップは、コンピュータ可読媒体上に実体的に具体化されたプログラムを実行する１つまたは複数のコンピュータプロセッサによって行われて、入力で動作させ、かつ出力を生成することによって、本発明の機能を実行することができる。適したプロセッサは、例として、汎用マイクロプロセッサおよび特殊用途マイクロプロセッサの双方を含む。一般的に、プロセッサは、メモリ（読み出し専用メモリおよび／またはランダムアクセスメモリなど）から命令およびデータを受信し（読み込み）、かつ、メモリに命令およびデータを書き込む（記憶する）。コンピュータプログラム命令およびデータを実体的に具体化するのに適した記憶デバイスは、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスを含む半導体メモリデバイスなどの不揮発性メモリ、内部ハードディスクおよび取り外し可能ディスクなどの磁気ディスク、光磁気ディスク、およびＣＤ－ＲＯＭの全ての形態を含む。前述のいずれかは、特殊設計されたＡＳＩＣ（特定用途向け集積回路）またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）によって補完されてよい、またはこれらに組み込まれてよい。また、コンピュータは、一般的に、内部ディスク（図示せず）または取り外し可能ディスクなどの非一時的なコンピュータ可読記憶媒体からプログラムおよびデータを受信し（読み取り）、かつ該非一時的なコンピュータ可読記憶媒体にプログラムおよびデータを書き込む（記憶する）。

【0020】

本明細書に開示されるいずれのデータも、例えば、非一時的なコンピュータ可読媒体上に実体的に記憶される１つまたは複数のデータ構造において実装されてよい。本発明の実施形態は、このようなデータ構造（複数可）にこのようなデータを記憶し、かつこのようなデータ構造（複数可）からこのようなデータを読み出すことができる。

【0021】

図１における、ユーザ認知負荷測定の脳波信号を前処理するための方法を示すフローチャートを参照する。

【0022】

プロセスはステップ１０２で開始し、ここでユーザの脳波信号がキャプチャされる。ステップ１０４において、複数のシステムアーチファクトは、キャプチャされた脳波信号において検出される。ステップ１０６において、キャプチャされた脳波信号からのノイズウィンドウが除去される。ステップ１０８において、キャプチャされた脳波信号からの瞬目範囲が検出される。ステップ１１０において、キャプチャされた脳波信号からの上記の検出された瞬目範囲はフィルタリングされ、プロセスはステップ１１２において終了するが、このステップにおいて、フィルタリングされた脳波信号は、ユーザの認知負荷を測定し、続いて、測定された認知負荷の、前頭部頭皮のＥＥＧ電極における空間分布の変動を使用してユーザの異なるレベルの精神作業負荷を計算するために使用される。

【0023】

図２における、認知負荷測定のためのユーザの脳波信号を前処理するためのシステムアーキテクチャを示すブロック図を参照する。

【0024】

本発明の一実施形態において、認知負荷測定のためのユーザの脳波信号を前処理するためのシステム（２００）が提供される。システム（２００）は、脳波信号記録デバイス（２０２）、システムアーチファクト検出モジュール（２０４）、ノイズウィンドウ除去モジュール（２０６）、瞬目範囲検出モジュール（２０８）、瞬目範囲フィルタリングモジュール（２１０）、および認知負荷測定モジュール（２１２）から成る。

【0025】

本発明の別の実施形態では、システム（２００）は、刺激に対応して、ユーザに対する、脳波信号を前処理し、かつ複数のシステムアーチファクトを除去することによって、認知負荷の精度を検出するために使用されてよい。脳波信号を前処理し、かつ複数のシステムアーチファクトを除去することによって認知負荷を評価するために、システム（２００）は最初に、ユーザの脳波信号を受信する。具体的には、本実装形態において、脳波信号データは脳波信号記録デバイス（２０２）によって受信される。

【0026】

本発明の別の実施形態では、ＥＥＧデータは、１４チャネルワイヤレスＥｍｏｔｉｖニューロヘッドセットを使用して記録されてよい。ＥＥＧデバイスは、ＥＥＧ信号を受信するためにユーザの頭部に着用されてよい。ＥＥＧデータはユーザの刺激に対応して生成されるＥＥＧ信号を表す。

【0027】

本発明の別の実施形態では、アーチファクト検出モジュール（２０４）は、複数のシステムアーチファクトを検出するように適応される。この場合、システムアーチファクトは、電源干渉、インピーダンス変動、Ｂｌｕｅｔｏｏｔｈ(登録商標)接続性によるスプリアスノイズ、電気ノイズを含むがこれらに限定されないグループから選択される。

【0028】

本発明の別の実施形態では、ノイズウィンドウ除去モジュール（２０６）は、キャプチャされた脳波信号からのノイズウィンドウを検出しかつ除去するように適応される。該モジュールは、ＳＤＫベースアプローチ、標準偏差（ＳＴＤ）ベースアプローチ、およびスキューベースアプローチといった、複数のノイズウィンドウ除去技法をさらに利用してよい。

【0029】

本発明の別の実施形態では、ＳＤＫベースアプローチはＥｍｏｔｉｖデバイス上で使用される。Ｅｍｏｔｉｖは信号品質をログ記録するために使用されている「ＳｉｇｎａｌＱｕａｌｉｔｙ」ＡＰＩを提供する。ＡＰＩによって生のＥＥＧ信号のノイズレベルが指示される。信号品質には５つのレベル、すなわち、「無信号」、「超低品質信号」、「低品質信号」、「適正信号」、および「高品質信号」がある。これらのレベルは、Ｅｍｏｔｉｖデバイスのチャネルのそれぞれに関連付けられたメタデータの一部として指示される。ＥＥＧ信号はノイズがないと見なされており、これについて、ＥＥＧデバイスの全てのチャネルにはメタデータとして「高品質信号」が与えられる。

【0030】

本発明の別の実施形態では、標準偏差ベース測定は、ノイズウィンドウを特定するために使用される。ＥＥＧ信号は、非重複のウィンドウに細分された後、信号振幅の標準偏差Ｓは等式１を使用してそれぞれのウィンドウに対して算出される。Ｓが既定の閾値（τ₁）より大きいことが分かる場合、対応するウィンドウはノイズウィンドウとして扱われる。閾値が高いほど呼び戻しは良好になり、閾値が低いほどノイズウィンドウの検出時の精密度は良好になる。よって、閾値の設定に基づく、呼び戻しと精密度との間のトレードオフがある。

【0031】

【数1】

（１）

【0032】

式中、Ａ_iは生のＥＥＧサンプルであり、μはＡ_i全てに対する平均であり、Ｎはウィンドウにおけるサンプルの数である。

【0033】

本発明の別の実施形態では、信号スキュー測定は、信号における対称性がない測定値をもたらし、ノイズウィンドウを特定するために使用される。ＥＥＧ信号は非重複ウィンドウに分割され、信号スキューは等式２を使用して算出される。

【0034】

【数2】

（２）

【0035】

式中、ｘはウィンドウにおける生のＥＥＧ信号であり、μは平均であり、σはウィンドウにおける信号の標準偏差であり、Ｅ（．）は期待値演算子を示す。Ｓ_nが既定の閾値（τ２）未満である場合、特定のウィンドウはノイズウィンドウとして扱われる。閾値が高いほど精密度は良好になり、閾値が低いほどノイズウィンドウの検出時の呼び戻しは良好になる。よって、閾値の設定に基づく、呼び戻しと精密度との間のトレードオフがある。

【0036】

本発明の別の実施形態では、瞬目範囲検出モジュール（２０８）は、キャプチャされた脳波信号からの瞬目範囲を検出しかつ除去するように適応される。該モジュールは、ＳＤＫベース、テンプレートベース相互相関、自動相関ベース、およびクラスタリングベースアプローチといった、瞬目を検出しかつ除去するための複数の技法をさらに利用してよい。

【0037】

本発明の別の実施形態では、ＳＤＫベース検出が使用され、ここで、Ｅｍｏｔｉｖによって「ＥＥ＿Ｅｘｐｒｅｓｓｉｖ」ＡＰＩがもたらされる。ある特定の応用に対して、Ｅｍｏｔｉｖでの個人向けトレーニング機構が必要とされる。しかしながら、それぞれの被験者に対して瞬目関連のトレーニングを行うことはユーザフレンドリーではないため、個人向けトレーニングはなく、誤検知の存在によって検出精度はかなり低い。

【0038】

本発明の別の実施形態では、テンプレートベース相互相関による検出が使用され、ここで、一般的な瞬目範囲の１つはテンプレート（Ｔ）として採用される。生のＥＥＧ信号、ｘ（ｎ）は、等式３を使用してｙ（ｎ）を生成するためにＴと相互相関している。テンプレートの長さはＮである。長さＮのＥＥＧ信号（ｘ）のそれぞれのウィンドウに対して相互相関が実行され、ウィンドウの重複は５０％と見なされる。出力ｙ（ｎ）が既定の閾値（τ３）を上回る場合、ウィンドウは瞬目を有するとして検出される。

【0039】

【数3】

（３）

【0040】

本発明の別の実施形態では、自動相関による検出は、一般的な瞬目テンプレートの必要性の限度を克服するために使用され、これは、多入力多出力ワイヤレス通信における信号の検出の原理に基づいている。生のＥＥＧ信号、ｘ（ｎ）は、等式４を使用してｙ（ｎ）を生成するためにウィンドウ長がＮの時間シフトされたバージョンｘ（ｎ）と自動相関される。出力ｙ（ｎ）が既定の閾値（τ４）を上回る場合、ウィンドウは瞬目を有するとして検出される。

【0041】

【数4】

（４）

【0042】

本発明の別の実施形態では、クラスタリングベースアプローチによる検出が使用され、ここで、（５０％重複した）１秒間のウィンドウにＥＥＧ信号を細分した後、特徴として、それぞれのウィンドウに対するデルタ帯域パワー（＜４Ｈｚ）を算出する。最後に、標準ｋ平均アルゴリズムが特徴に対して適用される。瞬き力に左右されて、デルタパワーは変動するため、固定数のクラスタが低強度の瞬きを逃すことが多い。よって、クラスタの数は２から５までで変動し、かつ、ｋの値が最小のＸｉｅ－Ｂｅｎｉ指数を示すかが調べられる。Ｘｉｅ－Ｂｅｎｉ指数の最低値はクラスタの最良形成を指示する。実験に基づいて５の上部カットオフが決定される。最高Ｘｉｅ－Ｂｅｎｉ指数に対するクラスタが見出されると、ＥＥＧデータは最低デルタパワーに対して条件付けられた最大サイズに対応するクラスタから抽出され、残りのクラスタに対応するデータは瞬き範囲としてマーキングされる。

【0043】

本発明の別の実施形態では、瞬目範囲のフィルタリングは、生のＥＥＧ信号を、０．５Ｈｚの２５６次元高域ＦＩＲフィルタ、および４Ｈｚの６４０次元高域ＦＩＲフィルタに通すことによって行われる。瞬き開始範囲および瞬き終了範囲が特定されると、０．５Ｈｚの高域ＥＥＧ信号は、瞬目範囲におけるデータ点を、４Ｈｚの高域フィルタのフィルタリング済み出力に対応するデータと置き換えることによってクリーンとなった。

【0044】

本発明の別の実施形態では、認知負荷の識別は、ノイズウィンドウを除去し、かつ瞬目範囲をフィルタリングすることによって得られるクリーンになったＥＥＧ信号によるストループテストを使用することによって測定される。認知負荷の識別は、等式５に示されるように、アルファ帯およびシータ帯両方についての平均周波数の変化の積（ｆ_t（α）、ｆ_t（θ））および対応する冪（｜ｆ_t（α）｜、｜ｆ_t（θ）｜）を使用してそれぞれのリード／チャネルに対して測定される。ストループ刺激に対するＥＥＧ信号と、実験の開始前にとられた初期基本データとの間の変化が測定される。被験者は、初期基本期間中リラックスすることが求められる。

【0045】

【数5】

（５）

【0046】

式中、ｉはリードまたはチャネル指数であり、Ｌⁱ（ｔ）はｉ番目のチャネルに対する認知負荷である。等式６に示されるように、識別指数（ＤＩ）は選択されたリード／チャネルの間の認知負荷の標準偏差である。リード選択は、４つの左前頭部リード、すなわち、デバイスのＡＦ３、Ｆ７、Ｆ３、ＦＣ５とすることができる。

【0047】

【数6】

（６）

【0048】

式中、ｓｔｄ_iは４つのリードｉ全ての間での認知負荷の標準偏差である。低い認知負荷について、標準偏差曲線下のエリアは、高い認知負荷のものと比較して大きいことが分かる。

【0049】

１つの例示の実施形態では、１７人の参加者群は、２５～３２歳の年齢群において選択され、研究所（Ｉｎｎｏｖａｔｉｏｎ Ｌａｂ、ＴＣＳ）で働いている右利きの男性エンジニアであった。彼らは、正常視力を有するか、眼鏡で正常の６／６の視力に矯正されている。これらによって、参加者全員における、専門知識レベルおよび脳の側性化の変動が確実に最小になるようにする。これらの人達のそれぞれは、ＥＥＧヘッドセットを着用している間に色を読み取るように言われた。１つのタイプでは、色名およびフォントの色が異なっている、すなわち、ＲＥＤ（赤）が青色に書き込まれており、もう１つのタイプでは、この両方が同じである、すなわち、ＲＥＤ（赤）が赤色に書き込まれている。色名およびフォントの色が異なっていると、認知負荷はより高いのに対し、名称および色両方が同じである時、認知負荷はより低い。

【0050】

データ収集用の低解像度ＥＥＧデバイス、すなわち、Ｅｍｏｔｉｖによる１４チャネルニューロヘッドセットを使用して、低解像度デバイスに対する異なる瞬目除去技法の効果を解析する。Ｐ３位置およびＰ４位置に配置された、コモンモードセンス（ＣＭＳ）および右足駆動（ＤＲＬ）基準電極は接地電極として使用された。該デバイスは、チャネル位置に対する標準の１０～２０の電極システムに従っている。Ｅｍｏｔｉｖデバイスのサンプリング速度は１２８Ｈｚである。社内Ｐｙｔｈｏｎベースのツールは、コンピュータ画面上で刺激／タスクを提示している間の、（ｉ）生のＥＥＧデータ、（ｉｉ）関連のＳＤＫ提供パラメータ、併せて、（ｉｉｉ）被験者のウェブカメラのビデオキャプチャの同期キャプチャに対して開発されている。ウェブカメラのビデオは、瞬目範囲のグランドトゥルースを生成するために使用された。キャプチャツールを装備して、ＥＥＧデータを収集中に該データにおけるマーカ（基線開始／終了、刺激開始／終了など）を取り入れた。

【0051】

実験の開始時に、固視用十字が５秒間画面上に示される。この時間の間、参加者は十字に集中するよう求められた。そのあと、ストループスライド（高水準／低水準のどちらか）が提示された。次に別の５秒間の緩和時間が与えられた。最後に、別のストループスライドが提示された。ストループスライドが示された継続時間は試験的な間隔として扱われた。それぞれの参加者に対して、試験的なセッションが２回行われた。１つのセッションでは、高水準ストループスライドの後に低水準ストループスライドが続いた。もう１つのセッションでは、逆の順序で行われた。参加者の半分に対して、最初に高レベルストループが提示され、その後低レベルストループスライドが提示された。残りの参加者に対しては逆の順序で行われた。

【0052】

合成データ収集中、参加者は、Ｅｍｏｔｉｖデバイスを着用している間、ある特定の時間間隔後（５秒後または１０秒後など）に瞬きするように求められた。自然な瞬きのデータが１２名の参加者から収集され、合成データは５名の参加者から収集された。合成瞬きファイルの平均継続時間は６０．０７秒であった。

【0053】

上の例からキャプチャされたデータに基づいて、１つのメトリックＦ１スコアが算出されたが、これは、等式（７）に示されるように、精密度および呼び戻しの調和平均である。

【0054】

【数7】

（７）

【0055】

ノイズウィンドウ除去モジュール（２０６）は、キャプチャされた脳波信号からノイズウィンドウを検出しかつ除去するように適応される。該モジュールは、ＳＤＫベースアプローチ、標準偏差（ＳＴＤ）ベースアプローチ、およびスキューベースアプローチといった、複数のノイズウィンドウ除去技法をさらに利用してよい。スキューに対して選択された閾値は０．５であり、ＳＴＤに対して選択された閾値は５０であった。次いで、Ｆ１スコアは、表１に述べられるように、等式７に基づいて算出されたものであり、ＳＤＫの性能は全く信頼できるものではなく、スキューベースノイズ検出は３つの方法の中で最良であった。

【0056】

【表1】

【0057】

瞬目範囲検出モジュール（２０８）は、キャプチャされた脳波信号から瞬目範囲を検出しかつ除去するように適応される。該モジュールは、ＳＤＫベース、テンプレートベース相互相関、自動相関ベース、およびクラスタリングベースアプローチといった、瞬目を検出しかつ除去するための複数の技法をさらに利用してよい。瞬目の継続時間は１００ミリ秒～６００ミリ秒以上に及び、ウィンドウサイズは５０％重複した１秒と見なされた。自動相関の場合、信号のシフトには５０のサンプルが与えられた（Ｅｍｏｔｉｖに対する１２８Ｈｚのサンプリング速度でおよそ４００ミリ秒）。瞬目の継続時間よりかなり少ないことが予想されるシフト量が、実験的に導出された。

【0058】

サンプルの生のＥＥＧ信号が図３に示されている。１００μＶに近い信号レベルの高振幅スパイクは瞬目の存在を指示している。図４は、図３に示されるＥＥＧ信号に対するグランドトゥルースと比較して異なる方法を使用する瞬目の検出の比較を示す。図４の水平軸は、それぞれのウィンドウの長さがＥＥＧ信号の６４のサンプルに対応する場合のウィンドウ数を表す。比較を図によって表すために、５つの異なるレベルでのさまざまな方法の検出、すなわち、レベル１としてのＥｍｏｔｉｖ ＳＤＫ、レベル２としてのテンプレートベース相互相関、レベル３としての自動相関、レベル４としてのクラスタリング、およびレベル５としてのグランドトゥルースが実施された。ゼロの値は、瞬きがないことを指示するのに対し、その他の値は、さまざまなタイプの瞬目検出技法のレベルおよび比較が、合成瞬きについては表２に、および自然な瞬きについては表３に示されるように指定される方法による瞬き検出を指示する。

【0059】

【表2】

【0060】

【表3】

【0061】

ノイズウィンドウの除去後、瞬きの開始および終了の指数が正確に検出されると、フィルタリング技法が適用され、１７のセッションに対する正規化ＳＴＤに関する識別指数（ＤＩ）が計算された。ＳＴＤは、低位側では高負荷ストループ刺激、高位側では低負荷ストループ刺激であった。

【0062】

図５は、高負荷に対して、左脳部位の大部分が等しく負荷をかけられ、その部位の間（ＡＦ３、Ｆ７、Ｆ３、およびＦＣ５）の空間変動が少なかったことを示す。よって、１７の中の１３セッションについて、認知負荷の正規化ＳＴＤは低精神作業負荷および高精神作業負荷の間でうまく識別できたことが分かる。うまく識別できなかったものは丸でマーキングされている。同じ実験が前処理をせずに行われ、ここで、１１のセッションが正確に識別された。よって、検出精度において１１．７％、すなわち（（１３－１１）＊１００／１７）の改善が見られる。

【0063】

前処理された生のＥＥＧ信号に対する低負荷および高負荷の間のＤＩの相違に関する改善は、１１のセッションに対して比較された。図６は、前処理前および後の正規化ＤＩの相違の棒グラムを示す。前処理後の正規化ＤＩは前処理前より高くなっており、このことは、識別力の改善を指示している。

【0064】

前述を考慮して、本発明が、ユーザの精神活動を監視することによって、ユーザの認知負荷測定の脳波信号を前処理するための方法およびシステムを提供する。さらに、前述が本発明の例示の実施形態のみに関するものであり、以下の特許請求の範囲によって定められるように本発明の趣旨および範囲から逸脱することなく多数の変更がなされてよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】