ホーム > 特許ランキング > ＩｎｎｅｒＥｙｅ Ｌｔｄ．
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-11
(54)【発明の名称】注意を数値化するための方法及びシステム
(51)【国際特許分類】
A61B 5/16 20060101AFI20230904BHJP
A61B 5/246 20210101ALI20230904BHJP
A61B 5/377 20210101ALI20230904BHJP
A61B 5/374 20210101ALI20230904BHJP
【ＦＩ】
A61B5/16
A61B5/246
A61B5/377
A61B5/374
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023513369
(86)(22)【出願日】2021-08-25
(85)【翻訳文提出日】2023-04-24
(86)【国際出願番号】 IL2021051046
(87)【国際公開番号】W WO2022044013
(87)【国際公開日】2022-03-03
(31)【優先権主張番号】63/069,742
(32)【優先日】2020-08-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】517417474
【氏名又は名称】インナーアイ リミテッド
【氏名又は名称原語表記】ＩｎｎｅｒＥｙｅ Ｌｔｄ．
【住所又は居所原語表記】８５ Ｍｅｄｉｎａｔ Ｈａｙｅｈｕｄｉｍ Ｓｔｒｅｅｔ， Ｂｕｉｌｄｉｎｇ Ｇ， ＰＯＢ＃ １２９５２， Ｈｅｒｚｅｌｉｙａ， Ｉｓｒａｅｌ
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】ハルパズ ユヴァル
(72)【発明者】
【氏名】ゲヴァ アミール ビー
(72)【発明者】
【氏名】デオウェル レオン ワイ
(72)【発明者】
【氏名】ヴァイスマン セルゲイ
(72)【発明者】
【氏名】シャロム ヤール
(72)【発明者】
【氏名】オツ ミハエル
(72)【発明者】
【氏名】メイール ヨナタン
【テーマコード（参考）】
4C038
4C127
【Ｆターム（参考）】
4C038PP01
4C038PP05
4C038PR01
4C038PR04
4C038PS03
4C038PS07
4C127AA03
4C127AA10
4C127DD00
4C127DD01
4C127DD02
4C127GG11
4C127GG15
4C127GG18
(57)【要約】
注意を推定する方法は、被験者に加えられた刺激と同期して被験者の脳から収集された信号に対応する脳造影図（ＥＧ）データを受け取ることを含む。ＥＧデータはまた、それぞれが単一の刺激に対応するセグメントにセグメント化される。方法はまた、ＥＧデータの各セグメントを、それぞれの刺激に対して固定された始まりを有する第１の時間ウィンドウ、及びそれぞれの刺激に対して変化する始まりを有する第２の時間ウィンドウに分割することを含む。方法はまた、所与のセグメントが脳の注意状態を記述する可能性を決定するために処理することを含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
注意を推定する方法であって、被験者に加えられた刺激と同期して前記被験者の脳から収集された信号に対応する脳造影図（ＥＧ）データを受け取ることであって、前記ＥＧデータが、それぞれが単一の刺激に対応する複数のセグメントにセグメント化される、前記受け取ることと、
各セグメントを、固定始まりを有する第１の時間ウィンドウ、及び変化する始まりを有する第２の時間ウィンドウに分割することであって、前記固定始まり及び前記変化する始まりがそれぞれの刺激に関連する、前記分割することと、
所与のセグメントが前記脳の注意状態を記述する前記可能性を決定するために前記時間ウィンドウを処理することと
を含む、前記方法。
【請求項2】
前記変化する始まりがランダムな始まりである、請求項１に記載の方法。
【請求項3】
前記刺激の一部に対して意図的に不注意である間に被験者の脳から収集された追加のＥＧデータを受け取ることであって、前記追加のＥＧデータが、それぞれが単一の刺激に対応する複数のセグメントにセグメント化される、前記受け取ることと、所与のセグメントが前記脳の注意状態を記述する追加の可能性を決定するために前記追加のＥＧデータの前記セグメントを処理することと、
前記可能性及び前記追加の可能性を結合することと
をさらに含む、請求項１及び２のいずれかに記載の方法。
【請求項4】
時間領域データ行列として前記追加のＥＧデータの各セグメントを表すことを含み、前記処理することが、前記時間領域データ行列を処理することを含む、請求項３に記載の方法。
【請求項5】
周波数領域データ行列として前記追加のＥＧデータの各セグメントを表すことを含み、前記処理することが、前記周波数領域データ行列を処理することを含む、請求項３に記載の方法。
【請求項6】
前記時間領域データ行列として、及び前記周波数領域データ行列として前記追加のＥＧデータの各セグメントを表すことを含み、前記処理することが、前記追加の可能性を記述する２つの別々のスコアを提供するために前記データ行列を別々に処理することを含み、前記結合することが、前記可能性を記述するスコアを、前記追加の可能性を記述する前記２つの別々のスコアと結合することを含む、請求項３に記載の方法。
【請求項7】
追加の生理学的データを受け取ることと、前記追加の生理学的データを処理することとを含み、前記可能性が、前記処理された追加の生理学的データにも基づく、請求項１～６のいずれかに記載の方法。
【請求項8】
前記追加の生理学的データが、目の瞬きの量及び時間分布、目の瞬きの持続時間、瞳孔サイズ、筋肉活動、運動、ならびに心拍数から成る前記グループから選択された少なくとも１つの生理学的パラメータに関する、請求項７に記載の方法。
【請求項9】
前記セグメントから時空間周波数特徴を抽出することと、前記特徴を異なる意識状態のクラスタにクラスタ化することとを含む、請求項１～８に記載の方法。
【請求項10】
前記意識状態が、疲労状態、注意状態、不注意状態、マインドワンダリング状態、マインドブランキング状態、覚醒状態、及び眠気状態から成る前記グループから選択された少なくとも１つの意識状態を含む、請求項９に記載の方法。
【請求項11】
前記第１の時間ウィンドウが固定幅を有する、請求項１に記載の方法。
【請求項12】
前記第２の時間ウィンドウが固定幅を有する、請求項１及び１１に記載の方法。
【請求項13】
前記第１の時間ウィンドウ及び前記第２のウィンドウのそれぞれが、同一の固定幅を有する、請求項１に記載の方法。
【請求項14】
前記第２の時間ウィンドウが変化する幅を有する、請求項１～１１のいずれかに記載の方法。
【請求項15】
前記処理することが、線形分類器を適用することを含む、請求項１～１４のいずれかに記載の方法。
【請求項16】
前記処理することが、非線形分類器を適用することを含む、請求項１～１４のいずれかに記載の方法。
【請求項17】
前記非線形分類器が機械学習手順を含む、請求項１６に記載の方法。
【請求項18】
タスク固有の注意を決定する方法であって、ある期間にわたって脳活動に従事している被験者の脳から収集された信号に対応する脳造影図（ＥＧ）データを受け取ることであって、前記期間が、前記被験者が関心のあるタスクを実行する間隔、及び前記被験者がバックグラウンドタスクを実行する間隔を含む、前記受け取ることと、
前記被験者の前記活動とは無関係に、所定のセグメント化プロトコルに従って前記ＥＧデータを部分的に重複するセグメントにセグメント化することと、
各セグメントに値のベクトルを割り当てることであって、前記値の１つが、前記セグメントと重複する間隔に対応するタスクのタイプを識別し、前記ベクトルの他の値が、前記セグメントから抽出される特徴である、前記割り当てることと、
第１の機械学習手順に前記セグメントに割り当てられたベクトルを供給して、セグメントが、前記被験者が前記関心があるタスクを実行している間隔に対応する可能性を決定するように前記第１の手順を訓練することと、
コンピュータ可読媒体に前記第１の訓練された手順を格納することと
を含む、前記方法。
【請求項19】
前記ベクトルの少なくとも１つの値が周波数領域特徴である、請求項１８に記載の方法。
【請求項20】
前記第１の機械学習手順がロジスティック回帰手順である、請求項１８及び１９のいずれかに記載の方法。
【請求項21】
前記ＥＧデータが、それぞれが１つのＥＧセンサによって生成される信号に対応するＭ個のチャネルにわたって配置され、前記ベクトルが少なくとも１０×Ｍの特徴を含む、請求項１８～２０のいずれかに記載の方法。
【請求項22】
前記関心のあるタスクが、視覚処理タスク、聴覚処理タスク、作業メモリタスク、長期メモリタスク、言語処理タスク、及び任意のそれらの組み合わせを含むタスクから成る第１のグループから選択される、請求項１８～２１のいずれかに記載の方法。
【請求項23】
前記関心のあるタスクが、前記第１のグループの１つの構成要素であり、前記バックグラウンドタスクが、前記第１のグループの他のすべての構成要素を含む、請求項２２に記載の方法。
【請求項24】
セグメントごとにフーリエ変換を計算することと、第２の機械学習手順にフーリエ変換を供給して、セグメントが前記被験者が集中している間隔に対応する可能性を決定するように前記第２の手順を訓練することとを含む、請求項１８～２３のいずれかに記載の方法。
【請求項25】
意識状態を決定する方法であって、ある期間にわたって脳活動に従事している被験者の脳から収集された信号に対応する脳造影図（ＥＧ）データを受け取ることと、
前記被験者の前記活動とは無関係に、所定のプロトコルに従って前記ＥＧデータをるセグメントにセグメント化することと、
前記セグメントから分類特徴を抽出し、前記特徴をクラスタにクラスタ化することと、
前記被験者の意識状態に従って前記クラスタをランク付けすることと
を含む、前記方法。
【請求項26】
被験者のグループ内の特定の被験者の意識状態を決定する方法であって、脳造影図（ＥＧ）データを受け取る前記グループの被験者ごとに、前記データから分類特徴を抽出し、それぞれが、特徴の中心ベクトルによって特徴付けられるＬ個のクラスタのセットに特徴をクラスタ化し、それによって中心ベクトルの複数のＬ個のセットを、被験者ごとに１つのＬ個のセットずつ提供することと、
前記中心ベクトルを中心ベクトルのＬ個のクラスタにクラスタ化することと、
前記特定の被験者に対して、初期化クラスタシードとして、前記中心ベクトルのＬ個のクラスタの中心を使用して、前記分類特徴を再クラスタ化し、前記被験者の意識状態に従って前記クラスタをランク付けすることと
を含む、前記方法。
【請求項27】
前記再クラスタリングの前に、前記中心ベクトルのＬ個のクラスタの前記中心によって前記分類特徴を補足することを含む、請求項２６に記載の方法。
【請求項28】
前記被験者の前記活動とは無関係に、所定のプロトコルに従って前記ＥＧデータをセグメントにセグメント化することを含む、請求項２６及び２７のいずれかに記載の方法。
【請求項29】
前記所定のプロトコルがスライドウィンドウを備える、請求項２５及び２８のいずれかに記載の方法。
【請求項30】
前記所定のプロトコルが、前記ＥＧデータだけに基づいたセグメント化を含む、請求項２５及び２８のいずれかに記載の方法。
【請求項31】
前記セグメント化が、前記ＥＧデータ内のエネルギーバーストによる、請求項３０に記載の方法。
【請求項32】
前記セグメント化は適応できる、請求項３１に記載の方法。
【請求項33】
前記ランク付けが、前記クラスタに対する前記ＥＧデータのセグメントの帰属関係レベルに基づく、請求項２５～３２のいずれかに記載の方法。
【請求項34】
前記意識状態が、疲労状態、注意状態、不注意状態、マインドワンダリング状態、マインドブランキング状態、覚醒状態、及び眠気状態から成る前記グループから選択された少なくとも１つの意識状態を含む、請求項２５～３３のいずれかに記載の方法。
【請求項35】
マインドワンダリング状態または不注意脳状態を決定する方法であって、ある期間にわたって脳活動に従事している被験者の脳から収集された信号に対応する脳造影図（ＥＧ）データを受け取ることであって、前記期間が、前記被験者がノーゴータスクを実行する間隔を含む、前記受け取ること、
それぞれが、前記ノーゴータスクのいずれの開始も欠く時間間隔によって包含されるセグメントに前記ＥＧデータをセグメント化することと、
前記セグメント直後の開始に応えて前記ノーゴータスクの成功または失敗に従って、前記セグメントのそれぞれにラベルを割り当てることと、
セグメントが、前記脳がマインドワンダリング状態または不注意な状態にある時間ウィンドウに対応する可能性を推定するように、前記セグメント及び前記ラベルを使用して機械学習手順を訓練することと、
コンピュータ可読媒体に前記訓練された手順を格納することと
を含む、前記方法。
【請求項36】
注意を推定する方法であって、被験者に加えられた刺激と同期して前記被験者の脳から収集された信号に対応する脳造影図（ＥＧ）データを受け取ることであって、前記ＥＧデータが、それぞれが単一の刺激に対応する複数のセグメントにセグメント化される、前記受け取ることと、
それぞれが、明確に前記被験者の注意を推定するために訓練され、前記手順の性能を示すパラメータに関連付けられる機械学習手順のセットを格納するコンピュータ可読媒体にアクセスすることと、
前記セットの各機械学習手順ごとに、前記手順に前記複数のセグメントを供給し、前記手順から、セグメントごとに、前記セグメントが前記脳の注意状態を記述する可能性を示すスコアを受け取り、それによってセグメントごとにスコアのセットを提供することと、
前記性能を示す前記パラメータに基づいて前記スコアを結合して、結合されたスコアを提供することと、
前記結合されたスコアに関する出力を生成することと
を含む、前記方法。
【請求項37】
プログラム命令が格納されるコンピュータ可読媒体を備え、前記命令が、データプロセッサによって読み取られるとき、前記データプロセッサに請求項１～３６のいずれかに記載の前記方法を実行させる、コンピュータソフトウェア製品。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本出願は、２０２０年８月２５日に出願された米国仮特許出願第６３／０６９，７４２号の優先権の利益を主張するものであり、参照により、その内容全体が本明細書に組み込まれる。
本出願は、２０２０年８月２５日に出願された米国仮特許出願第６３／０６９，７４２号の優先権の利益を主張するものであり、参照により、その内容全体が本明細書に組み込まれる。
【背景技術】
【0002】
本発明は、そのいくつかの実施形態において、脳波分析に関し、より具体的には、そのような分析に基づいて注意を数値化するためのシステム及び方法に関するが、これに限定されない。いくつかの実施形態は、疲労及び／またはマインドワンダリングを数値化するためのシステム及び方法に関する。
【0003】
非侵襲的な記録技術である脳波記録法は、脳活動を監視するために一般的に使用されるシステムの１つである。この技術では、脳波図（ＥＥＧ）データは、多数のチャネルから高い時間分解能で同時に収集され、ただ一回の試行で脳活動を表すための高次元データ行列を生じさせる。その卓越した時間分解能に加えて、ＥＥＧはウェアラブルであり、他の神経結像技術よりも手頃な価格であり、例えば、脳活動が単一の事象（試行）に応えてデコードされる脳型コンピュータインタフェース（ＢＣＩ）アプリケーションにおいて様々な目的で使用されてきた。
【0004】
従来のＥＥＧ分類技術は機械学習アルゴリズムを使用して、単一試行時空間活動行列を、それらの行列の統計的な特性に基づいて分類する。これらの方法は、２つの主要なコンポーネント、つまり効果的な次元縮退のための特徴抽出メカニズム、及び分類アルゴリズムに基づいている。典型的な分類器は、それによって他のテストデータを２つ以上のカテゴリの１つに分類できるマッピング規則を学習するためにサンプルデータを使用する。分類器は、線形方法及び非線形方法に大別できる。ニューラルネットワーク、隠れマルコフモデル、及びｋ最近傍などの非線形分類器は、広範囲の関数を近似して、複雑なデータ構造の判別を可能にする。非線形分類器は複雑な判別関数を取り込む可能性があるが、その複雑さによって過剰適合が引き起こされ、計算負荷が高くなる可能性があり、非線形分類器はリアルタイムアプリケーションにはあまり適していない。
【0005】
一方、線形分類器はあまり複雑ではないため、データの過剰適合に対してよりロバストである。線形分類器は、線形に分離できるデータに対して特にうまく機能する。フィッシャー線形判別式（ＦＬＤ）、線形サポートベクトルマシン（ＳＶＭ）、及びロジスティック回帰（ＬＲ）は、線形分類器の例である。ＦＬＤは、２つのクラスのデータを分離可能な投影軸にマッピングする特徴の線形組み合わせを見つける。分離の基準は、クラス内の分散に対するクラス平均間の距離の比率として定義される。ＳＶＭは、２つのクラス間のマージンを最大化する分離超平面を見つける。ＬＲは、その名前が示唆する通り、データをロジスティック関数に投影する。
【0006】
内容が参照により本明細書に組み込まれる国際公開第ＷＯ２０１４／１７０８９７号は、対象画像及び非対象画像を含む一連の画像に応えて生成される人間の被験者のＥＥＧ信号の単一試行分類のための方法を開示する。方法は、ＥＥＧ信号の時点及びそれぞれの空間分布を含む時空間表現でＥＥＧ信号を取得することと、線形判別式分類器を使用して、時点を独立して分類して、時空間判別重みを計算することと、時空間判別重みを使用して、それぞれ時空間点で、時空間判別重みで時空間表現を増幅して、空間的に重み付けされた表現を作成することと、ＥＥＧ信号の空間チャネルごとに別々に、次元縮退用の時間領域で主成分分析（ＰＣＡ）を使用して、ＰＣＡ投影を作成することと、第１の複数の主成分に空間的に重み付けされた表現に対するＰＣＡ投影を適用して、空間チャネルごとに、複数の主要な時間投影のためのＰＣＡ係数を含む時間的に近似した、空間的に重み付けされた表現を作成することと、線形判別式分類器を使用して、いくつかのチャネルを介して時間的に近似した、空間的に重み付けされた表現を分類して、対象画像または非対象画像のどちらかに属するとして画像シリーズの各画像を示すバイナリ決定シリーズを生じさせることとを含む。
【0007】
内容が参照により本明細書に組み込まれる国際公開第ＷＯ２０１６／１９３９７９号は、画像を分類する方法を開示する。コンピュータビジョン手順は、対象によって占有されているとして疑われる候補画像領域を画像内で検出するために画像に適用される。観察者は、観察者の脳から神経生理学的信号を収集しながら、視覚刺激として各候補画像領域を提示される。神経生理学信号は、観察者による対象の検出を示す神経生理学的事象を識別するために処理される。画像内での対象の存在は、神経生理学的事象の識別に基づいて決定される。
【0008】
国際公開第ＷＯ２０１８／１１６２４８号は、画像分類ニューラルネットワークを訓練するための技術を開示する。観察者は、視覚刺激として画像を提示され、神経生理学的信号は観察者の脳から収集される。信号は、画像内での観察者による対象の検出を示す神経生理学的事象を識別するために処理され、画像分類ニューラルネットワークは、そのような識別に基づいて画像内の対象を識別するように訓練される。
【発明の概要】
【0009】
本発明のいくつかの実施形態の態様によれば、注意を推定する方法が提供される。方法は、被験者に印加された刺激と同期して被験者の脳から収集された信号に対応する脳造影図（ＥＧ）データを受け取ることであって、ＥＧデータは、それぞれが単一の刺激に対応する複数のセグメントにセグメント化される、受け取ることと、各セグメントを、固定始まりを有する第１の時間ウィンドウ、及び変化する始まりを有する第２の時間ウィンドウに分割することであって、固定始まり及び変化する始まりはそれぞれの刺激に関連する、分割することと、所与のセグメントが脳の注意状態を記述する可能性を決定するために時間ウィンドウを処理することとを含む。
【0010】
本発明のいくつかの実施形態によれば、変化する始まりはランダムな始まりである。
【0011】
本発明のいくつかの実施形態によれば、方法は、刺激の一部に対して意図的に不注意である間に被験者の脳から収集された追加のＥＧデータを受け取ることを含む。追加のＥＧデータはまた、それぞれが単一の刺激に対応する複数のセグメントにセグメント化される。本発明のいくつかの実施形態によれば、方法は、所与のセグメントが脳の注意状態を記述する追加の可能性を決定するために追加のＥＧデータのセグメントを処理することと、可能性及び追加の可能性を結合することとを含む。
【0012】
本発明のいくつかの実施形態によれば、方法は、時間領域データ行列として追加のＥＧデータの各セグメントを表すことを含み、処理することは、時間領域データ行列を処理することを含む。
【0013】
本発明のいくつかの実施形態によれば、方法は、周波数領域データ行列として追加のＥＧデータの各セグメントを表すことを含み、処理することは、周波数領域データ行列を処理することを含む。
【0014】
本発明のいくつかの実施形態によれば、方法は、時間領域データ行列として、及び周波数領域データ行列として追加のＥＧデータの各セグメントを表すことを含み、処理することは、追加の可能性を記述する２つの別々のスコアを提供するためにデータ行列を別々に処理することを含み、結合することは、可能性を記述するスコアを、追加の可能性を記述する２つの別々のスコアと結合することを含む。
【0015】
本発明のいくつかの実施形態によれば、方法は、追加の生理学的データを受け取ることと、追加の生理学的データを処理することとを含み、可能性は、処理された追加の生理学的データにも基づく。
【0016】
本発明のいくつかの実施形態によれば、追加の生理学的データは、目の瞬きの量及び時間分布、目の瞬きの持続時間、瞳孔サイズ、筋肉活動、運動、ならびに心拍数から成るグループから選択された少なくとも１つの生理学的パラメータに関する。
【0017】
本発明のいくつかの実施形態によれば、方法は、セグメントから時空間周波数特徴を抽出することと、特徴を異なる意識状態のクラスタにクラスタ化することとを含む。
【0018】
本発明のいくつかの実施形態によれば、意識状態は、疲労状態、注意状態、不注意状態、マインドワンダリング状態、マインドブランキング状態、覚醒状態、及び眠気状態から成るグループから選択された少なくとも１つの意識状態を含む。
【0019】
本発明のいくつかの実施形態によれば、第１の時間ウィンドウは固定幅を有する。本発明のいくつかの実施形態によれば、第２の時間ウィンドウは固定幅を有する。本発明のいくつかの実施形態によれば、第１の時間ウィンドウ及び第２の時間ウィンドウのそれぞれは、同一の固定幅を有する。
【0020】
本発明のいくつかの実施形態によれば、第２の時間ウィンドウは変化する幅を有する。
【0021】
本発明のいくつかの実施形態によれば、処理することは、線形分類器を適用することを含む。本発明のいくつかの実施形態によれば、線形分類器は機械学習手順を含む。
【0022】
本発明のいくつかの実施形態によれば、処理することは、非線形分類器を適用することを含む。本発明のいくつかの実施形態によれば、非線形分類器は機械学習手順を含む。
【0023】
本発明のいくつかの実施形態の態様によれば、注意を推定する方法が提供される。方法は、被験者に加えられた刺激と同期して被験者の脳から収集された信号に対応するＥＧデータを受け取ることを含み、ＥＧデータは、それぞれが単一の刺激に対応する複数のセグメントにセグメント化される。方法はまた、それぞれが、明確に被験者の注意を推定するために訓練され、手順の性能を示すパラメータに関連付けられる機械学習手順のセットを格納するコンピュータ可読媒体にアクセスすることを含む。方法はまた、セットの各機械学習手順ごとに、手順に複数のセグメントを供給し、手順から、セグメントごとに、セグメントが脳の注意状態を記述する可能性を示すスコアを受け取り、それによってセグメントごとにスコアのセットを提供することを含む。方法はまた、性能を示すパラメータに基づいてスコアを結合して、結合されたスコアを提供することと、結合されたスコアに関する出力を生成することとを含む。
【0024】
本発明のいくつかの実施形態の態様によれば、タスク固有の注意を決定する方法が提供される。方法は、ある期間にわたって脳活動に従事している被験者の脳から収集された信号に対応するＥＧデータを受け取ることであって、期間は、被験者が関心のあるタスクを実行する間隔、及び被験者がバックグラウンドタスクを実行する間隔を含む、受け取ることと、被験者の活動とは無関係に、所定のセグメント化プロトコルに従ってＥＧデータを部分的に重複するセグメントにセグメント化することと、各セグメントに値のベクトルを割り当てることであって、値の１つが、セグメントと重複する間隔に対応するタスクのタイプを識別し、ベクトルの他の値が、セグメントから抽出される特徴である、割り当てることと、第１の機械学習手順にセグメントに割り当てられたベクトルを供給して、セグメントが、被験者が関心があるタスクを実行している間隔に対応する可能性を決定するように第１の手順を訓練することと、コンピュータ可読媒体に第１の訓練された手順を格納することとを含む。
【0025】
本発明のいくつかの実施形態によれば、ベクトルの少なくとも１つの値は周波数領域特徴である。
【0026】
本発明のいくつかの実施形態によれば、第１の機械学習手順はロジスティック回帰手順である。
【0027】
本発明のいくつかの実施形態によれば、ＥＧデータは、それぞれが１つのＥＧセンサによって生成される信号に対応するＭ個のチャネルにわたって配置され、ベクトルは、少なくとも１０×Ｍの特徴、または少なくとも２０×Ｍの特徴、または少なくとも４０×Ｍの特徴、または少なくとも８０×Ｍの特徴を含む。
【0028】
本発明のいくつかの実施形態によれば、関心のあるタスクは、視覚処理タスク、聴覚処理タスク、作業メモリタスク、長期メモリタスク、言語処理タスク、及び任意のそれらの組み合わせを含むタスクから成る第１のグループから選択される。
【0029】
本発明のいくつかの実施形態によれば、関心のあるタスクは第１のグループの１つの構成要素であり、バックグラウンドタスクは第１のグループの他のすべての構成要素を含む。
【0030】
本発明のいくつかの実施形態によれば、方法は、セグメントごとにフーリエ変換を計算することと、第２の機械学習手順にフーリエ変換を供給して、セグメントが被験者が集中している間隔に対応する可能性を決定するように第２の手順を訓練することとを含む。
【0031】
本発明のいくつかの実施形態によれば、マインドワンダリング状態または不注意な脳の状態を決定する方法が提供される。方法は、ある期間にわたって脳活動に従事している被験者の脳から収集された信号に対応するＥＧデータを受け取ることを含み、期間は、被験者がノーゴータスクを実行する間隔を含む。方法はまた、それぞれが、ノーゴータスクのいずれの開始も欠く時間間隔によって包含されるセグメントにＥＧデータをセグメント化することと、セグメント直後の開始に応えてノーゴータスクの成功または失敗に従って、セグメントのそれぞれにラベルを割り当てることとを含む。方法はまた、セグメントが、脳がマインドワンダリング状態または不注意な状態にある時間ウィンドウに対応する可能性を推定するように、セグメント及びラベルを使用して機械学習手順を訓練することと、コンピュータ可読媒体に訓練された手順を格納することとを含む。
【0032】
本発明のいくつかの実施形態によれば、意識状態を決定する方法が提供される。方法は、ある期間にわたって脳活動に従事している被験者の脳から収集された信号に対応するＥＧデータを受け取ることと、被験者の活動と無関係に、所定のプロトコルに従ってＥＧデータをセグメントにセグメント化することと、セグメントから分類特徴を抽出し、特徴をクラスタにクラスタ化することと、被験者の意識状態に従ってクラスタをランク付けすることとを含む。
【0033】
本発明のいくつかの実施形態によれば、被験者のグループ内の特定の被験者の意識状態を決定する方法が提供される。方法は、ＥＧデータを受け取るグループの被験者ごとに、データから分類特徴を抽出し、それぞれが、特徴の中心ベクトルによって特徴付けられるＬ個のクラスタのセットに特徴をクラスタ化し、それによって中心ベクトルの複数のＬ個のセットを、被験者ごとに１つのＬ個のセットずつ提供することを含む。方法はまた、中心ベクトルを中心ベクトルのＬ個のクラスタにクラスタ化することと、少なくとも特定の被験者に対して、初期化クラスタシードとして、中心ベクトルのＬ個のクラスタの中心を使用して、分類特徴を再クラスタ化して、被験者の意識状態に従ってクラスタをランク付けすることを含む。
【0034】
本発明のいくつかの実施形態によれば、方法は、再クラスタ化の前に、中心ベクトルのＬ個のクラスタの中心によって分類特徴を補足することを含む。
【0035】
本発明のいくつかの実施形態によれば、方法は、被験者の活動とは無関係に所定のプロトコルに従ってＥＧデータをセグメントにセグメント化することを含む。
【0036】
本発明のいくつかの実施形態によれば、所定のプロトコルはスライドウィンドウを含む。
【0037】
本発明のいくつかの実施形態によれば、所定のプロトコルは、ＥＧデータのみに基づいたセグメント化を含む。
【0038】
本発明のいくつかの実施形態によれば、セグメント化は、ＥＧデータ内のエネルギーバーストに従う。
【0039】
本発明のいくつかの実施形態によれば、セグメント化は適応できる。例えば、異なるセグメントが異なる幅を有する場合がある。
【0040】
本発明のいくつかの実施形態によれば、ランク付けは、クラスタに対するＥＧデータのセグメントの帰属関係レベルに基づく。
【0041】
本発明のいくつかの実施形態によれば、意識状態は、疲労状態、注意状態、不注意状態、マインドワンダリング状態、マインドブランキング状態、覚醒状態、及び眠気状態から成るグループから選択された少なくとも１つの意識状態を含む。
【0042】
本発明のいくつかの実施形態の一態様によれば、プログラム命令が格納されるコンピュータ可読媒体を含むコンピュータソフトウェア製品が提供され、命令は、データプロセッサによって読み取られるとき、上述のように、ならびにさらに以下に詳説されるように任意選択で及び好ましくは、データプロセッサに命令を実行させる。
【0043】
特に定義されない限り、本明細書で使用されるすべての技術用語及び／または科学用語は、本発明が属する技術分野の当業者が一般的に理解するものと同じ意味を有する。本発明の実施または試験には、本明細書に記載したものと類似または同等の方法及び材料を用いることができるが、例示的な方法及び／または材料が以下に説明される。矛盾する場合、定義を含む特許明細書が優先する。加えて、材料、方法、及び実施例は例示のみであり、必ずしも限定することを意図していない。
【0044】
本発明の実施形態の方法及び／またはシステムの実施は、選択されたタスクを手動で、自動的に、またはそれらの組み合わせで実行または完了することを含み得る。さらに、本発明の方法及び／またはシステムの実施形態の実際の計装及び設備によれば、いくつかの選択されたタスクは、オペレーティングシステムを使用して、ハードウェアによって、ソフトウェアによって、またはファームウェアによって、またはそれらの組み合わせによって実施することができるであろう。
【0045】
例えば、本発明の実施形態による選択されたタスクを実行するためのハードウェアは、チップまたは回路として実装され得る。ソフトウェアとして、本発明の実施形態による選択されたタスクは、任意の適切なオペレーティングシステムを使用してコンピュータによって実行される複数のソフトウェア命令として実施することができる。本発明の例示的な実施形態では、本明細書に記載の方法及び／またはシステムの例示的な実施形態による１つまたは複数のタスクは、複数の命令を実行するためのコンピューティングプラットフォームなどのデータプロセッサによって実行される。任意選択で、データプロセッサは、命令及び／またはデータを格納するための揮発性メモリ、及び／または命令及び／またはデータを格納するための不揮発性ストレージ、例えば、磁気ハードディスク及び／またはリムーバブルメディアを含む。任意選択で、ネットワーク接続も設けられる。ディスプレイ、及び／またはキーボードまたはマウスなどのユーザー入力デバイスも任意選択で提供される。
【0046】
本発明のいくつかの実施形態を、本明細書では、単なる例示として、添付の図面を参照しながら説明する。このとき図面を詳細にわたって具体的に参照するが、図示されている細部は例示として本発明の実施形態を説明的に考察することを目的としたものであることが強調される。この点に関して、図面を用いた説明は、本発明の実施形態がどのように実施され得るかを当業者に明らかにする。
【図面の簡単な説明】
【0047】
【図1】本発明のいくつかの実施形態による、注意を推定するために適切な方法のフローチャート図である。
【図2】方法が、ラベル付きの脳造影図（ＥＧ）データを使用する、本発明の実施形態において、注意を推定するのに適した方法のフローチャート図である。
【図3A】本発明のいくつかの実施形態に従って実行された実験で使用される畳み込みニューラルネットワーク（ＣＮＮ）のアーキテクチャの概略図である。
【図3B】本発明のいくつかの実施形態に従って実行された実験で使用される畳み込みニューラルネットワーク（ＣＮＮ）のアーキテクチャの概略図である。
【図4】本発明のいくつかの実施形態に従って実施された実験で取得された、被験者が単一の試行で成功する能力を測定する試行性（ｔｒｉａｌｎｅｓｓ）スコアを示す。
【図5】本発明のいくつかの実施形態に従って実行された実験で取得された、線形分類器とＣＮＮの精度の比較を示す。
【図6】データ蓄積による性能精度の向上を実証するために、本発明のいくつかの実施形態に従って実行された実験で作成されたグラフである。
【図7】本発明のいくつかの実施形態に従って実行された実験で取得された、休憩（ｔ＝０）の前（ｔ＜０）及び後（ｔ＞０）の被験者全体で平均化された、正規化された試行性スコアを示す。
【図8】本発明のいくつかの実施形態に従って実行された実験で取得された、異なるスコア間の比較を示す。
【図9】本発明のいくつかの実施形態に従って実行された実験で用いられた４つの分類方法を使用して注意状態を検出するための性能を示す。
【図10】本発明のいくつかの実施形態に従って実行された実験で取得された、数人の被験者で平均された、この被験者に最高の性能を提供した分類器を使用して、被験者ごとに取得されたスコアとして定義される注意指数を示す。
【図11】Ａ～Ｄは、本発明のいくつかの実施形態に従って実行された実験で取得された、４人の被験者の誘発反応電位（ＥＲＰ）（Ｅｖｏｋｅｄ Ｒｅｓｐｏｎｓｅ Ｐｏｔｅｎｔｉａｌ）を示す。
【図12】本発明のいくつかの実施形態に従って実行された実験で取得された、試行性分類器の性能を示す。
【図13】本発明のいくつかの実施形態に従って実行された実験中に用いられたロジスティック回帰関数に影響を与えることが判明した特徴を示す。
【図14】Ａ及びＢは、本発明のいくつかの実施形態に従って実行された実験中に用いられた、タスク固有の注意分類器の性能を示す。
【図15】本発明のいくつかの実施形態に従って実行された実験中に用いられた、集中分類器の性能を示す。
【図16】本発明のいくつかの実施形態による、クラスタ化手順の概略図である。
【図17】本発明のいくつかの実施形態に従って実行された実験で取得された、アルファ帯域のエネルギーに関連付けられたクラスタのデータセグメントのクラスタ帰属関係レベルを示す。
【図18A】本発明のいくつかの実施形態による、クラスタ化手順の出力を提示するために適したグラフィカルユーザーインタフェース（ＧＵＩ）の概略図である。
【図18B】本発明のいくつかの実施形態による、クラスタ化手順の出力を提示するために適したグラフィカルユーザーインタフェース（ＧＵＩ）の概略図である。
【図18C】本発明のいくつかの実施形態による、クラスタ化手順の出力を提示するために適したグラフィカルユーザーインタフェース（ＧＵＩ）の概略図である。
【図19】本発明のいくつかの実施形態に従って実行された実験中に用いられた、疲労分類器の性能を示す。
【図20】本発明のいくつかの実施形態に従って実行された実験で取得された、マインドワンダリング信号を示す。
【図21】本発明のいくつかの実施形態に従って実行された実験中に用いられた、マインドワンダリング分類器の性能を示す。
【図22A】本発明のいくつかの実施形態による、脳状態の推定のための例示的な結合された出力を示す図である。
【図22B】本発明のいくつかの実施形態による、脳状態の推定のための例示的な結合された出力を示す図である。
【図23】本発明のいくつかの実施形態による、タスク固有の注意及び／または集中を決定するために適切な方法を説明するフローチャート図である。
【図24A】本発明のいくつかの実施形態による、脳の意識状態を推定するために適した方法を説明するフローチャート図である。
【図24B】本発明のいくつかの実施形態による、脳の意識状態を推定するために適した方法を説明するフローチャート図である。
【図25】本発明のいくつかの実施形態による、マインドワンダリング状態または不注意な脳状態を決定するために適切な方法を説明するフローチャート図である。
【発明を実施するための形態】
【0048】
本発明は、そのいくつかの実施形態において、脳波分析に関し、より具体的には、そのような分析に基づいて注意を数値化するためのシステム及び方法に関するが、これに限定されない。いくつかの実施形態は、疲労及び／またはマインドワンダリングを数値化するためのシステム及び方法に関する。
【0049】
本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その適用において、以下の記述で記載される、ならびに／または図面及び／もしくは実施例に示される、構造の詳細ならびにコンポーネント及び／または方法の配列に必ずしも限定されないことを理解されたい。本発明は、他の実施形態が可能であり、または様々な方法で実践もしくは実行することが可能である。
【0050】
（例えば、繰り返し画像を提示される空港でのＸ線検査官として）比較的に高いタスク速度で多数のタスクに従事する人間の観察者は、多くの場合、瞬間的に、またはなんらかの時間間隔にわたって、実行するように指示されたタスクに対する注意のレベルの低下を経験する。そのような低下は、例えば、眠気、マインドワンダリング、注意散漫などの結果である場合がある。注意のレベルが低下する事象は、顕在的な場合もあれば、内潜的な場合もある。顕在的な事象は、被験者の外部器官を監視することによって検出可能であるそれらの注意低下事象である。例えば、タスクが、画面上の画像を見ることを含むとき、顕在的な注意低下は、被験者が画面を見なくなったときに発生するため、被験者の視線または頭の方向を監視することによって検出できる。
【0051】
内潜的な事象は、被験者の外部器官が注意レベルが高かったときと同じ状態にあるように見えるそれらの注意低下事象であるため、外部器官を監視することによって検出することはできない。例えば、タスクが画面上の画像を見ることを含むとき、内潜的な注意低下は、被験者が画面を依然として注視しているが、被験者の脳が画面上の画像に十分な注意を提供しない状態にあるときに発生する。
【0052】
発明者らは、脳造影図（ＥＧ）データを分析することによって注意を推定できる技術を発見した。技術は、内潜的な注意低下事象、及び任意選択で及び好ましくは顕在的な注意低下事象を検出するためにも使用できる。
【0053】
本明細書に説明される操作の少なくとも一部は、データを受信し、以下に説明される操作を実行するために構成された、データ処理システム、例えば専用回路または汎用コンピュータによって実装することができる。操作の少なくとも一部は、離れた場所にあるクラウドコンピューティング施設によって実装することができる。
【0054】
本実施形態の方法を実装するコンピュータプログラムは、一般に、通信ネットワークによって、またはフロッピーディスク、ＣＤ－ＲＯＭ、フラッシュメモリデバイス、及びポータブルハードドライブなどであるが、これに限定されない分散媒体でユーザーに分散することができる。通信ネットワークまたは分散媒体から、コンピュータプログラムはハードディスクまたは類似した中間記憶媒体にコピーすることができる。コンピュータプログラムは、分散媒体または中間記憶媒体のどちらかからコンピュータの実行メモリにコード命令をロードし、本発明の方法に従って動作するようにコンピュータを構成することによって実行することができる。これらのすべての操作は、コンピュータシステムの当業者に周知である。
【0055】
本明細書に説明される処理操作は、ＤＳＰ、マイクロコントローラ、ＦＰＧＡ、ＡＳＩＣなどのプロセッサ回路、または任意の他の従来のコンピューティングシステム及び／または専用コンピューティングシステムによって実行され得る。
【0056】
本実施形態の方法は、多くの形で具現化することができる。例えば、本実施形態の方法は、方法操作を実行するためのコンピュータなどの有形媒体で具現化することができる。本実施形態の方法は、方法操作を実施するためのコンピュータ可読命令を含む、コンピュータ可読媒体で具現化することができる。本実施形態の方法はまた有形媒体上でコンピュータプログラムを実行するか、またはコンピュータ可読媒体で命令を実行するように構成されたデジタルコンピュータ機能を有する電子機器で具現化することができる。
【0057】
ここで図面を参照すると、図１は、本発明の様々な例示的な実施形態による方法のフローチャート図である。別段の定めがない限り、以下に説明される操作は、多くの組み合わせまたは実行順序で同時にまたは連続して実行できることを理解されたい。具体的には、フローチャート図の順序付けは限定的と見なされるべきではない。例えば、以下の説明にまたはフローチャート図に特定の順序で表示される２つ以上の操作は、異なる順序（例えば、逆順）で、または実質的に同時に実行することができる。さらに、以下で説明されるいくつかの操作は任意選択であり、実行されない場合がある。
【0058】
方法は、１０で開始し、任意選択で及び好ましくは、脳造影図（ＥＧ）データが受け取られる１１に続く。ＥＧデータは、ＥＥＧデータまたは脳磁気図（ＭＥＧ）データである場合がある。
【0059】
ＥＧデータは、多数のセンサ（例えば、少なくとも４つの、または少なくとも１６の、または少なくとも３２の、または少なくとも６４のセンサ）から、任意選択で及び好ましくは十分に高い時間解像度で、任意選択で及び好ましくは同時に収集されるＥＧ信号のデジタル化された形である。センサは、ＥＥＧの場合は電極である場合があり、ＭＥＧの場合は超電導量子干渉素子（ＳＱＵＩＤ）である場合がある。
【0060】
本発明のいくつかの実施形態では、信号は、少なくとも１５０Ｈｚ、または少なくとも２００Ｈｚ、または例えば約２５６Ｈｚなど、少なくとも２５０Ｈｚのサンプリング速度でサンプリングされる。任意選択で、ローパスフィルタは、高周波数のエイリアシングを防ぐために用いられる。ローパスフィルタの典型的なカットオフ周波数は、無制限に約１００Ｈｚである。
【0061】
神経生理学的信号がＥＥＧ信号であるとき、以下の周波数帯域、つまりデルタ帯域（通常、約１Ｈｚ～約４Ｈｚ）、シータ帯域（通常約３～約８Ｈｚ）、アルファ帯域（通常約７～約１３Ｈｚ）、低ベータ帯域（通常約１２～約１８Ｈｚ）、ベータ帯域（通常約１７～約２３Ｈｚ）、及び高ベータ帯域（通常約２２～約３０Ｈｚ）の１つまたは複数を定義できる。ガンマ帯域（通常約３０～約８０Ｈｚ）などであるが、これに限定されないより高い周波数帯域も企図される。
【0062】
ＥＧデータは、被験者に加えられた刺激と同期して特定の被験者の脳から収集された信号に対応する。例えば、個人が刺激を識別するように求められるタスクの間に刺激が個人に提示されるとき、神経反応は個人の脳で引き起こされる。刺激は、視覚刺激（例えば、画像を表示することによる）、聴覚刺激（例えば、音を生成することによる）、触覚刺激（例えば、個人に物理的に触れるか、または個人が曝される温度を変えることによる）、嗅覚刺激（例えば、臭気を生じさせることによる）、または味覚刺激（例えば、被験者に食用物質を与えることによる）を含むが、これに限定されない任意のタイプである可能性がある。刺激に対する注意が低いとき、反応は修正されるため、神経活動を測定することによって、人がどれほど作業に従事しているのかを評価することができる。
【0063】
信号は方法によって収集することができるか、または方法は以前に記録されたデータを受け取ることができる。例えば、方法は、特定の被験者が関与していたトレーニングセッション中に収集されたデータを使用できる。ＥＧデータは、任意選択で及び好ましくは、それぞれが被験者に加えられた単一の刺激に対応する、複数のマルチチャネルセグメントにセグメント化される。例えば、データは、各マルチチャネルセグメントが、Ｍ個の空間チャネル上にわたって収集されるＮ個の時点を含み、各チャネルがセンサの１つによって提供される信号に対応する、試行にセグメント化することができる。試行は通常、刺激の開始の所定の時間（例えば、３００ｍｓ、２００ｍｓ、１００ｍｓ、５０ｍｓ）前から刺激の開始の所定の時間（例えば、５００ｍｓ、６００ｍｓ、７００ｍｓ、８００ｍｓ、９００ｍｓ、１０００ｍｓ、１１００ｍｓ、１２００ｍｓ）後にセグメント化される。
【0064】
方法は、セグメントごとに２つの時間ウィンドウが定義される１２に続く。第１の時間ウィンドウは、それぞれの刺激に対して固定された始まりを有し、第２の時間ウィンドウは、それぞれの刺激に対して変化する（例えば、ランダムな）始まりを有する。第１の時間ウィンドウは、好ましくは刺激の開始の前に開始し、刺激の開始の後に終了する。したがって、第１の時間ウィンドウは、それが刺激の開始を包含し、したがって刺激に対する脳の反応と相関するデータを含むため、本明細書では「真の」試行と呼ばれる。第２の時間ウィンドウは、セグメントの間で変化する始まりを有し、刺激の開始を必ずしも包含しない。したがって、第２の時間ウィンドウは、それが刺激に対する脳の反応と相関する場合もあれば、しない場合もあるデータを含むので、本明細書では「偽」試行と呼ばれる。
【0065】
第１の時間ウィンドウは、好ましくは、始まりに対してと、時間ウィンドウの幅に対しての両方で固定される。第２の時間ウィンドウは、時間ウィンドウの始まりに対して変化するが、本発明の様々な例示的な実施形態では、固定幅を有する。本発明のいくつかの実施形態では、２つの窓の幅は同じであるか、またはほぼ同じである。
【0066】
第１の時間ウィンドウ及び第２の時間ウィンドウの幅の代表的な例は、セグメントの長さの約１０％、または約２０％、または約３０％、または約４０％を含むが、これらに限定されない。本発明のいくつかの実施形態では、固定された時間ウィンドウ及び変化する時間ウィンドウの幅は、Δｔであり、ここでΔｔは約１００ｍｓ、または約１２５ｍｓ、または約１５０ｍｓ、または約１７５ｍｓ、または約２００ｍｓ、または約２２５ｍｓ、または約２５０ｍｓ、または約２７５ｍｓ、または約３００ｍｓ、または約３２５ｍｓ、または約３５０ｍｓ、または約３７５ｍｓ、または約４００ｍｓである。本発明のいくつかの実施形態では、固定時間ウィンドウの始まりは、刺激の開始のｔ１ｍｓ前であり、ｔ１は、約２００、または約１７５、または約１５０、または約１２５、または約１００、または約７５、または約５０である。
【0067】
方法は、任意選択で及び好ましくは１３に進み、そこで１２で定義された時間ウィンドウは、所与のセグメントが脳の注意状態を記述する可能性（尤度、ｌｉｋｅｌｉｈｏｏｄ）を決定するために処理される。
【0068】
処理は好ましくは自動であり、データウィンドウの教師あり学習または教師なし学習に基づく場合がある。注意状態を決定するために役立つ学習技術は、共通空間パターン（ＣＳＰ）、自己回帰モデル（ＡＲ）、及び主成分分析（ＰＣＡ）を含むが、これらに限定されない。ＣＳＰは、２つのクラスを、第２のクラスの分散を最小限に抑えながら、第１のクラスの分散を最大化することによって判別するために空間重みを抽出する。ＡＲは、代わりに、判別情報を含む場合がある信号の空間的相関ではなく時間的な相関に焦点を当てる。判別ＡＲ係数は、線形分類器を使用して選択することができる。
【0069】
ＰＣＡは、教師なし学習に特に役立つ。ＰＣＡは、軸が軸に沿って投影されたデータサンプルの分散別に順序付けられ、分散の大部分を反映する軸だけが維持される、新しい、通常は相関関係のない空間にデータをマッピングする。結果として、元のデータについて最大の情報を保持するが、効果的な次元縮退を提供するデータの新しい表現が生じる。
【0070】
対象検出事象を識別するために役立つ別の方法は、空間重みのセットを抽出し、最大限に独立した時空間ソースを取得するために空間独立成分分析（ＩＣＡ）を用いる。独立した時間周波数成分のスペクトル重みを学習するために、周波数領域で並列ＩＣＡ段階が実行される。ＰＣＡは、データの次元を縮退するために空間ソース及びスペクトルソースで別々に使用できる。各特徴セットは、フィッシャー線形判別式（ＦＬＤ）を使用して別々に分類することができ、次に任意選択で及び好ましくは、単純ベイズ融合を使用して、事後確率の乗算によって結合することができる）。
【0071】
本発明の様々な例示的実施形態では、方法は、空間加重フィッシャー線形判別式（ＳＷＦＬＤ）分類器をデータウィンドウに使用する。この分類器は、以下の演算の少なくともいくつかを実行することによって取得できる。時点は、判別重みの時空間行列を計算するために独立して分類できる。この行列は、各時空間点で判別重みによって元の時空間行列を増幅し、それによって空間的に重み付けされた行列を提供するために使用できる。
【0072】
好ましくは、ＳＷＦＬＤはＰＣＡによって補足される。これらの実施形態では、ＰＣＡは、任意選択で及び好ましくは、空間チャネルごとに別々に及び独立して時間領域で適用される。これは、時系列データを成分の線形結合として表す。ＰＣＡは、任意選択で及び好ましくは、空間的に重み付けされた行列の行ベクトルごとに独立して適用される。ＰＣＡのこれらの２つの別々の適用により、各チャネルの次元を縮退するために使用できる射影行列が提供され、それによって縮退した次元のデータ行列が提供される。
【0073】
縮退した次元のこの行列の行は、次に連結されて、信号の時間的に近似し、空間的に重み付けされた活動を表す特徴表現ベクトルを提供することができる。ＦＬＤ分類器は、次に、時空間行列を２つのクラスの一方に分類するように特徴ベクトルで訓練することができる。本実施形態では、あるクラスは真の試行に対応し、別のクラスは偽の試行に対応する。
【0074】
本発明のいくつかの実施形態では、非線形手順が用いられる。これらの実施形態では、手順は人工ニューラルネットワークを含む場合がある。人工ニューラルネットワークは、ニューロンと呼ばれる相互接続されたコンピュータプロジェクトオブジェクトの概念に基づく機械学習手順のクラスである。典型的な人工ニューラルネットワークでは、ニューロンはデータ値を含み、データ値のそれぞれは、事前に定義された重み（「接続強度」とも呼ばれる）に従って接続されたニューロンの値、及びそれぞれの特定のニューロンへの接続の総計が事前に定義された閾値を満たすかどうかに影響を与える。適切な接続強度及び閾値を決定すること（トレーニングとも呼ばれるプロセス）によって、人工ニューラルネットワークは、データ中のパターンの効率的な認識を達成できる。多くの場合、これらのニューロンは層にグループ化される。ネットワークの各層は、異なる数のニューロンを有する場合があり、これらは入力データの特定の質に関連する場合もあれば、関連しない場合もある。複数の層のアーキテクチャを有する人工ニューラルネットワークは、ディープニューラルネットワークと呼ばれる人工ニューラルネットワークのクラスに属する。
【0075】
完全接続ネットワークと呼ばれる１つの実装では、特定の層内のニューロンのそれぞれは、次の層のニューロンのそれぞれに接続され、次の層のニューロンのそれぞれに入力値を提供する。これらの入力値は次に総計され、この総計は、活性化関数（ＲｅＬＵまたはシグモイドなどであるが、これらに限定されない）の入力として使用される。活性化関数の出力は、次に、ニューロンの次の層の入力として使用される。この計算は、それが最終層に達するまでニューラルネットワークの様々な層を通して続行する。この時点で、完全接続ネットワークの出力は、最終層の値から読み取ることができる。
【0076】
畳み込みニューラルネットワーク（ＣＮＮ）は、後続の層のニューロン値の変換が畳み込み演算によって生成される１つまたは複数の畳み込み層を含む。畳み込み演算は、毎回、層内のニューロンの異なるパッチに対して、複数回、畳み込みカーネル（文献ではフィルタとも呼ばれる）を適用することを含む。カーネルは、通常、すべてのパッチの組み合わせがカーネルによってアクセスされるまで層全体を摺動する。カーネルの適用によって提供される出力は、層の活性化マップと呼ばれる。いくつかの畳み込み層は、複数のカーネルに関連付けられる。これらの場合、各カーネルは別々に適用され、畳み込み層は、カーネルごとに１活性化マップずつ、活性化マップのスタックを提供すると言われる。そのようなスタックは、多くの場合、Ｄ＋１次元を有するオブジェクトとして数学的に記述され、Ｄは、活性化マップのそれぞれの横方向の次元数である。追加の次元は、多くの場合、畳み込み層の深さと呼ばれる。
【0077】
本発明のいくつかの実施形態では、方法によって使用される人工ニューラルネットワークは、ディープラーニングニューラルネットワーク、より好ましくはＣＮＮである。
【0078】
人工ニューラルネットワークは、人工ニューラルネットワークトレーニングプログラムにラベル付きのウィンドウデータを供給することによって、本発明のいくつかの実施形態に従って訓練することができる。例えば、各ウィンドウは、Ｎ列及びＭ行（またはその逆）を有する時空間行列として表すことができ、各行列要素は、ウィンドウ内の特定の時点で特定のＥＧセンサによって検知されたＥＧ信号を表す値を格納する。トレーニングプログラムに供給される各ウィンドウはラベル付けされる。本発明のいくつかの実施形態では、バイナリラベリングがトレーニング中に用いられる。例えば、ウィンドウは、固定始まりの第１のウィンドウタイプ（真の試行に対応する）または変化する始まりの第２のウィンドウタイプ（偽の試行に対応する）であるとしてラベル付けすることができる。セグメントごとに、原則的に２つのタイプのウィンドウを定義することができるので、人工ニューラルネットワークトレーニングプログラムに供給されるラベル付けされたウィンドウの数は、データ内のセグメント数の２倍である場合があり、したがってトレーニングプロセスの分類精度を改善する。
【0079】
トレーニングプロセスは、各ウィンドウを可能な限りそのラベルに近づけて分類する出力を生じさせるように、例えば、重み、畳み込みカーネルなどの人工ニューラルネットワークのパラメータを調整する。トレーニングの最終的な結果は、調整された重みがネットワークの各コンポーネント（ニューロン、層、カーネルなど）に割り当てられる、訓練された人工ニューラルネットワークである。訓練された人工ニューラルネットワークは、次に、コンピュータ可読媒体に格納する１４ことができ、後にそれを再訓練する必要なく使用することができる。例えば、いったんコンピュータ可読媒体から引き出されると、訓練された人工ニューラルネットワークは、ラベルなしＥＧデータセグメントを受け取り、通常、範囲［０、１］で、セグメントが脳の注意状態を記述する可能性を推定するスコアを生成することができる。ＥＧデータのセグメントごとに第１の時間ウィンドウ及び第２の時間ウィンドウを供給される人工ニューラルネットワークトレーニングプログラムとは異なり、以後に使用される訓練された人工ニューラルネットワークは、セグメントごとに２つの時間ウィンドウによって供給される必要がない。むしろ、訓練された人工ニューラルネットワークは、任意選択で及び好ましくは、フィルタリング及び除去またはアーティファクトであるが、これらに限定されないいくつかの前処理操作に続いて、ＥＧデータセグメント自体によって供給することができる。
【0080】
本実施形態に適したＣＮＮのアーキテクチャの代表的な例は、以下の実施例の項に提供される。
【0081】
方法１０は１５で終了する。
【0082】
図２は、方法が、ラベル付きのＥＧデータを使用する、本発明の実施形態での方法のフローチャート図である。これらの実施形態では、方法は２０で開始し、２１に続行し、そこで方法は、被験者が加えられた刺激の一部分に対して意図的に不注意であるように要求される間に、被験者の脳から収集されたＥＧデータを受け取る。１１（図１）で受け取られたデータに関して、２１で受け取られたＥＧデータも、それぞれが単一の刺激に相当するマルチチャネルセグメントにセグメント化される。１１で受け取られたデータとは異なり、２１で受け取られたＥＧデータのセグメントは、被験者の意図的な注意レベルに従ってラベル付けされる。具体的には、これらのＥＧデータの各セグメントは、任意選択で及び好ましくは、それぞれのセグメントによって包含される時間間隔中に被験者が意図的に不注意であったかどうかを示すバイナリラベルを使用してラベル付けされる。２１で受け取られたＥＧデータは、したがってラベル付きＥＧデータと呼ばれる。
【0083】
本発明のいくつかの実施形態では、方法は、追加の生理学的データが受け取られる２２に続行する。追加の生理学的データは、注意と相互に関連付けることができる任意のタイプのデータを含む場合がある。例えば、そのようなデータは、顕在的な注意低下事象の発生を示すデータを含む場合がある。本実施形態に適切な追加の生理学的データの代表的な例は、目の瞬きの量、目の瞬きの持続時間、瞳孔サイズ、筋肉活動、運動、及び心拍数から成るグループから選択された生理学的パラメータに関するデータを含むが、これに限定されない。
【0084】
方法は、ラベル付けされたＥＧデータのセグメントが、所与のセグメントが脳の注意状態を記述する可能性を決定するために処理される２３に進むことができる。処理２３は好ましくは自動であり、方法２０では、セグメントが、定義されたウィンドウのタイプに従ってよりむしろ、被験者の意図的な注意状態に従ってラベル付けされることを除き、上述の教師あり学習技術または教師なし学習技術のいずれかに基づく場合がある。
【0085】
好ましくは、処理２３は、上でさらに詳説されるように、人工ニューラルネットワークによる。各セグメントは１つのラベル（例えば、注意状態の場合「０」、または不注意状態の場合「１」）を割り当てられるので、方法２０で人口ニューラルネットワークトレーニングプログラムに供給されるラベル付きセグメントの数は、２１で受け取られるデータ内のセグメントの総数と同じまたは総数よりも少ない。追加の生理学的データが２２で受け取られる本発明の実施形態では、追加の生理学的データはまた、人工ニューラルネットワークトレーニングプログラムに供給される。好ましくは、追加の生理学的データの値は、それらが記録された時点に基づいて、それぞれのウィンドウに関連付けられる。追加の生理学的データは、セグメントに対する追加のラベルとして機能するため、分類の精度を改善する。例えば、追加の生理学的データが目の瞬きに関係するとき、長い目の瞬きまたは多くの短い目の瞬きの存在は、脳が不注意状態にある可能性があることを示す場合があり、それぞれのラベルはそのようにラベル付けすることができる。
【0086】
上記の方法１０で、人工ニューラルネットワークトレーニングプログラムへの入力は、１２で定義されたウィンドウを含んでいた。したがって、入力は、例えば上述の時空間行列を使用して、時間領域内にある。方法２０で、入力は、セグメントごとに定義されている時間ウィンドウに基づいていないので、入力が時間領域内にある必要はない。したがって、本発明のいくつかの実施形態では、人工ニューラルネットワークトレーニングプログラムへの入力は時間領域内に配置され、本発明のいくつかの実施形態では、人工ニューラルネットワークトレーニングプログラムへの入力は周波数領域内に配置される。また企図されるのは、２つの人工ニューラルネットワークが訓練される実施形態である。つまり、時間領域人工ニューラルネットワークは、時間領域内に配置されたデータを人工ニューラルネットワークトレーニングプログラムに供給することによって訓練され、周波数領域人工ニューラルネットワークは、周波数領域内に配置されたデータを人工ニューラルネットワークトレーニングプログラムに供給することによって訓練される。
【0087】
時間領域では、入力データは、上記の方法１０に関して説明された原理に従って配置することができる。周波数領域では、入力データは、マルチチャネルセグメントのそれぞれにフーリエ変換を適用して、空間スペクトル行列を生成することによって配置することができ、各行列要素は、特定の周波数ビンで特定のＥＧセンサによって検知されたＥＧ信号を表す値を格納する。周波数ビンの典型的な数は、約１Ｈｚ～約３０Ｈｚの周波数範囲にわたって約１０～約１００ビンである。したがって、時間領域人工ニューラルネットワークと周波数領域人工ニューラルネットワークの両方とも、脳が、セグメントによって包含される時間間隔中に注意状態にある可能性に従って、各セグメントを採点するように訓練される。これらのネットワーク間の違いは、時間領域ネットワークへの入力は時間ビンに基づいており、周波数領域人工ネットワークへの入力は周波数ビンに基づいていることである。
【0088】
訓練された人工ニューラルネットワーク（複数可）は次に、上記にさらに詳説されるように、コンピュータ可読媒体に格納する２４ことができ、後にそれらを再訓練する必要なく使用することができる。方法２０は２５で終了する。
【0089】
発明者らは、方法１０と方法２０の両方とも、脳の注意状態の可能性を提供するが、生成された可能性の（例えば、訓練された人工ニューラルネットワークの出力の）解釈は同じではないことを発見した。
【0090】
方法１０は、刺激と相関しない時間ウィンドウが、被験者が実行するように要求されるタスクに関して脳の状態を分類するために使用できる旨の統計的な観察に基づいて可能性を決定する。したがって、方法１０によって提供される可能性は、所与の試行と、被験者が無事にタスクを実行した試行との間の類似性を評価する。ある意味では、方法１０によって提供される可能性は、被験者が単一の試行で成功する能力の尺度である。発明者らは、この尺度を「試行性」と名付け、方法１０を使用して訓練される人工ニューラルネットワークは、試行性ネットワークと呼ばれる。
【0091】
方法２０は、グラウンドトゥルースラベルに基づいて可能性を決定するため、被験者がタスクを無事に実行することができなかった理由が、例えば他の何らかの理由ではなく、不注意である可能性を提供する。
【0092】
方法１０及び２０を使用して訓練された人工ネットワークによって提供されるスコアは、任意選択で及び好ましくは結合することができる。例えば、ある期間にわたって被験者に加えられた刺激と同期して特定の被験者の脳から収集されたラベルなしＥＧデータは、各セグメントが単一の刺激に対応する、セグメントのセットにセグメント化できる。所与のラベルなしセグメントは、訓練されたネットワークのそれぞれに供給することができる。これらのネットワークのそれぞれは、所与のラベルなしセグメントのスコアを生成し、このようにしてネットワークごとに１つのスコアずつ、所与のラベルなしセグメントのスコアのセットを提供する。スコアのセットは次に結合されて、所与のラベルなしセグメントと重複する時間間隔中の特定の被験者の注意状態を説明する結合されたスコアを提供できる。
【0093】
好ましくは、スコアの組み合わせは、特定の被験者について訓練された人工ニューラルネットワークの性能特性に基づく。したがって、本発明の様々な例示的な実施形態では、訓練された各人工ネットワークは、その性能特性が決定される検証プロセスを受ける。これは、人工ニューラルネットワークのトレーニングに続いて行うことができる。通常、ネットワークが訓練される前に利用できるデータは、トレーニングプログラムに供給されるトレーニングデータセットと、訓練されたネットワークの出力を被験者の実際の注意と比較し、被験者の注意状態を予測するネットワークの能力を検証するために、訓練されたネットワークに供給される検証データセットとに分割される。
【0094】
検証は、本発明のいくつかの実施形態では、検証データセットに応えて、統計分析を、訓練された各人工ニューラルネットワークによって生成された出力に適用することを含むことができる。そのような分析は、例えば、セグメントのスコアによって生成された受信者操作特性（ＲＯＣ）曲線を特徴付ける尺度など、統計的尺度を計算することを含むことができる。例えば、尺度は、ＲＯＣ曲線下の面積（ＡＵＣ）である場合がある。他のまたは追加の統計的尺度は、検証プロセス中に計算でき、真陽性の数、真陰性の数、検出漏れの数、誤検出の数、感度、特異度、合計精度、陽性適中率、陰性適中率、及びマシューズ相関係数から成るグループから選択された少なくとも１つの統計的尺度を含むが、これらに限定されない、スコアを結合するために本発明のいくつかの実施形態に従って使用できる。
【0095】
本発明のいくつかの実施形態では、方法１０及び２０によって訓練されたネットワークのそれぞれに関連付けられた性能特性はまた、コンピュータ可読媒体に格納され、スコアを結合するために、訓練されたネットワークとともに引き出される。さらにまたは代わりに、性能特性に基づいて計算された重みのセットは、コンピュータ可読媒体に格納され、スコアを結合するために訓練されたネットワークとともに引き出される場合がある。
【0096】
本発明のいくつかの実施形態に従って計算することができる重みのセットの代表的な例は、比率（Ｐｉ－Ｐ０）／（ΣｉＰｉ－ｎＰ０）として定義される重みｗｉ ∈｛Ｗ｝を含むセット｛Ｗ｝であり、ここで、Ｐｉはｉ番目のネットワークの性能特性（例えば、ｉ番目のネットワークのＡＵＣ）であり、ΣｉＰｉは、すべてのネットワークの性能特性の総計であり、ｎは、結合されたスコア（ｉ＝１，２，．．．，ｎ）を生成するために使用されるネットワークの数であり、Ｐ０は、任意選択で及び好ましくは被験者に固有ではないパラメータである。例えば、範囲［０、１］にある性能特性の場合、Ｐ０は約０．５に設定できる。
【0097】
所与のラベルなしセグメントの結合されたスコアは、任意選択で及び好ましくは、総計の重みとして比率ｗｉを使用して、ネットワークのそれぞれによって提供されるスコアの加重総計として計算される。具体的には、ｉ番目のネットワークによって所与のラベルなしセグメントに提供されるスコアをＳｉによって示すと、セグメントの結合されたスコアＳＴＯＴは、ＳＴＯＴ＝ｗ１Ｓ１＋ｗ２Ｓ２＋．．．＋ｗｎＳｎとなり、ｎはセグメントを採点するために使用される訓練されたネットワークの数である。
【0098】
本発明のいくつかの実施形態では、試行性ネットワークによって提供されるスコアは、方法２０を使用して訓練された時間領域人工ニューラルネットワークによって提供されるスコアと結合され、本発明のいくつかの実施形態では、試行性ネットワークによって提供されるスコアは、方法２０を使用して訓練された周波数領域人工ニューラルネットワークによって提供されるスコアと結合され、本発明のいくつかの実施形態では、方法２０を使用して訓練された時間領域人工ニューラルネットワークによって提供されるスコアは、方法２０を使用して周波数領域人工ニューラルネットワークによって提供されるスコアと結合され、本発明のいくつかの実施形態では、試行性ネットワークによって提供されるスコアは、方法２０を使用して訓練された時間領域人工ニューラルネットワークによって提供されるスコアと、方法２０を使用して訓練される周波数領域人工ニューラルネットワークによって提供されるスコアと結合される。
【0099】
本発明の発明者らは、ＥＧデータが刺激と同期していない場合に、ＥＧデータが被験者の注意を推定するために使用できることも発見した。これは、それによって、被験者が刺激によって駆動されないタスクを実行している間に、被験者の脳が注意状態にある可能性を推定することが可能になるため有利である。例えば、被験者は、タスクをランダムに、または被験者自身によって選択された時間間隔内で実行することができる。技術は、被験者が特定の関心のあるタスクに注意している可能性を推定することが所望される場合に、または被験者が非特定タスクに集中している可能性を推定することが所望される場合に役立つ。本実施形態の技術はまた、被験者の脳が疲労状態またはマインドワンダリング状態にある可能性を推定することが所望される場合に役立つ。
【0100】
図２３は、本発明のいくつかの実施形態による、タスク固有の注意及び／または集中を決定するために適切な方法を説明するフローチャート図である。方法は２３０で開始し、上記にさらに詳説されるように、ＥＧデータが受け取られる２３１に続行する。ＥＧデータは、脳活動に従事している被験者の脳から収集された信号に対応する。脳活動中、任意選択で及び好ましくは、被験者が関心のあるタスクを実行する間隔、及び被験者がバックグラウンドタスクを実行する間隔がある。関心のあるタスクは、例えば、視覚処理タスク、聴覚処理タスク、作業メモリタスク、長期メモリタスク、言語処理タスク、及びこれらのタスクの２つ以上の組み合わせから成るグループから選択されたタスクである場合がある。バックグラウンドタスクはまた、それらが関心のあるタスク自体を含まないという条件で、タスクの同じグループから選択できる。
【0101】
方法は、任意選択で及び好ましくは２３２に続行し、そこでＥＧデータは、セグメント、好ましくは部分的に重複するセグメントにセグメント化される。本発明のいくつかの実施形態では、セグメント化は、被験者の活動とは無関係である所定のセグメント化プロトコルに従う。
【0102】
プロトコルは、被験者の活動を誘導する信号が、セグメントの始まりもしくは終わりをトリガするために、またはそれ以外の場合、セグメントを定義するために使用されないという意味で、被験者の活動とは無関係である。これは、セグメント化手順が被験者に刺激を生成または伝達するために使用される信号にロックする従来の誘発反応電位試行におけるセグメント化とは異なる。
【0103】
被験者の活動と無関係であり、本実施形態に適切であるセグメント化プロトコルの代表的な例は、所定の幅（または所定の幅のセット）及び所定の重複（または所定の重複のセット）のスライドウィンドウの使用を含むが、これに限定されない。また企図されるのは、セグメント化プロトコルがＥＧデータだけに基づく実施形態である。例えば、セグメントは、ＥＧデータまたはその特性が、なんらかの所定の基準を満たす（例えば、なんらかの閾値を超える、閾値の範囲に入るなど）と、定義することができる。
【0104】
方法は、ベクトルが各セグメントに割り当てられる２３３に進むことができる。ベクトルの成分の１つは、セグメントと重複する時間間隔に対応するタスクのタイプ（関心のあるタスクか、またはバックグラウンドタスクの１つのどちらか）を識別し、ベクトルの他の成分は、セグメントから抽出される特徴である。例えば、ベクトルの１つの成分は、被験者によってそれぞれの時間間隔中に実行されるタスクが、関心のあるタスクであることを示すラベルである場合があり、他の成分は抽出された特徴である場合がある。別の例は、１つの成分が、被験者によってそれぞれの時間間隔中に実行されるタスクが、バックグラウンドタスクの１つであることを示すラベルであるベクトルであり、他の成分は抽出された特徴である。
【0105】
抽出された特徴は、時間特徴、周波数特徴、空間特徴、時空間特徴、空間スペクトル特徴、時空間周波数特徴、統計的特徴、ランク付け特徴、計数特徴などであるが、これらに限定されない様々なタイプである可能性がある。好ましくは、特徴の数はＥＧチャネルの数よりも多く、より好ましくはＥＧチャネルの１０倍以上、より好ましくはＥＧチャネルの数の２０倍以上、より好ましくはＥＧチャネルの４０倍以上、より好ましくはＥＧチャネルの８０倍以上である。本実施形態に適切な特徴の代表的な例は、以下の実施例の項に提供される（表５．１を参照すること）。
【0106】
本発明のいくつかの実施形態では、方法は２３４に進み、そこでセグメントごとにフーリエ変換が計算され、セグメント内のＥＧデータの周波数スペクトルを提供する。任意選択で及び好ましくは、ローパスフィルタがフーリエ変換に適用される。ローパスフィルタのカットオフ周波数は、約４０Ｈｚ～約５０Ｈｚ、例えば約４５Ｈｚである場合がある。
【0107】
方法は、任意選択で及び好ましくは２３５に進み、そこでセグメントに割り当てられたベクトルは、セグメントが、被験者が関心のあるタスクを実行している間隔に対応する可能性を決定するように機械学習手順を訓練するために使用される。本発明の様々な例示的な実施形態では、手順のトレーニングは、被験者と、注意が推定される関心のあるタスクの両方にとって固有である。したがって、複数の被験者がいるときは、トレーニングプロセスは、好ましくは被験者ごとに別々に繰り返され、複数の訓練された機械学習手順を生成する。同様に、セグメントが、被験者が別の特定のタスクを実行している間隔に対応する可能性を決定することが所望されるとき、トレーニングプロセスは、好ましくは他の特定のタスクについて繰り返され、関心のあるタスクごとに別個の訓練された機械学習手順を生成する。
【0108】
トレーニングは、ベクトルを形成する特徴が、被験者の脳活動を説明するＥＧデータから抽出される点で、被験者に固有である。トレーニングは、タスクが関心のあるタスクであるのか、それともバックグラウンドタスクの１つであるのかを識別するベクトルの成分が、関心のあるタスクとして先験的に識別されているタスクに基づいて設定される点で、被験者に固有である。
【0109】
機械学習手順は、機械学習手順の上述のタイプのいずれかである可能性がある。本発明者らによって実行された実験では、ロジスティック回帰タイプの機械学習手順が用いられている。ロジスティック回帰手順が用いられる実施形態では、トレーニングプロセスは、関数が所与のセグメントに対応するベクトルの特徴に適用されると、ロジスティック回帰関数がそのベクトルのラベル成分を返すようにロジスティック回帰関数を定義する係数のセットを適応させる。セット内の係数の数は、通常、ベクトル内の特徴の数と同じである。
【0110】
本発明のいくつかの実施形態では、方法は、２３６に進み、そこで２３４で取得されたスペクトルは、任意選択で及び好ましくはフィルタリングに続いて、セグメントが、被験者が集中している間隔に対応する可能性を決定するように別の機械学習手順を訓練するために使用される。２３６で訓練された機械学習手順は、機械学習手順の上述のタイプのいずれかである可能性がある。本発明者らによって実行された実験では、ＣＮＮが用いられている。
【0111】
２３４でのトレーニングのように、２３６でのトレーニングは被験者に固有であるため、複数の被験者の場合、それぞれの複数の機械学習手順が好ましくは訓練される。２３４でのトレーニングとは異なり、２３６でのトレーニングはタスクに固有ではない。これは、タスクのアイデンティティに関してセグメントを非特異的にラベル付けすることによって達成できる。したがって、本発明のいくつかの実施形態によれば、トレーニング２３６は、関心のあるタスクに対応するセグメントと、同じラベルを使用するバックグラウンドタスクに対応するセグメントの両方をラベル付けすることを含む。被験者がいずれのタスクにも従事していない（または、同等に、集中の欠如を表す活動に従事している）時間間隔に対応するセグメントは、タスクに対応するセグメントに割り当てられたラベルとは異なるラベルでラベル付けされる。トレーニングプロセスは、このようにして機械学習手順のパラメータを調整し、調整の目標は、パラメータがスペクトルに適用されるとき、機械学習手順の出力が、可能な限りそのスペクトルに関連付けられたラベルに近いことである。
【0112】
２３６で訓練された手順の出力が、タスク（関心のあるタスクまたはバックグラウンドタスクのどちらか）に対応するセグメントに割り当てられたラベルに近いとき、方法は、被験者が集中している可能性があると決定することができる。逆に、手順の出力が、いずれのタスクにも対応しないセグメントに割り当てられたラベルに近いとき、方法は、被験者が集中していない可能性があると決定することができる。方法は、手順の出力を、可能性を定義するスコアとして設定できる。
【0113】
訓練された機械学習手順は次に、上記にさらに詳説されるように、コンピュータ可読媒体に格納する２３７ことができ、後にそれらを再訓練する必要なく使用することができる。
【0114】
方法２３０は２３８で終了する。
【0115】
方法２３０は、タスク固有の注意及び集中またはその欠如の両方を決定する文脈で説明されているが、これは必ずしも当てはまる必要はないことを理解されたい。いくつかの用途にとっては、集中ではなく、タスク固有の注意を決定することが所望される場合があり、いくつかの用途にとっては、タスク固有の注意ではなく、集中を決定することが所望される場合があるためである。前者の場合（タスク特有の注意のみを決定する）、操作２３４及び２３６は省略できる。後者の場合（集中のみを決定する）、操作２３３及び２３５は省略できる。
【0116】
本発明のいくつかの実施形態による、脳の意識状態を推定するために適した方法を説明するフローチャート図である図２４Ａ及び図２４Ｂがここで参照される。図２４Ａのフローチャート図は、単一の被験者の脳が特定の認識状態にあるかどうかを決定することが所望されるときに使用することができ、図２４Ｂのフローチャート図は、被験者のグループ内の特定の被験者の脳が特定の意識状態にあるかどうかを決定することが所望されるときに使用することができる。特定の意識状態は、疲労状態、注意状態、不注意状態、マインドワンダリング状態、マインドブランキング状態、覚醒状態、及び眠気状態を含むが、これらに限定されない、脳がとる場合がある意識状態の任意の１つである場合がある。
【0117】
図２４Ａを参照すると、方法は２４０で開始し、上記にさらに詳説されるように、ＥＧデータが受け取られる２４１に続行する。ＥＧデータは、脳活動に従事している被験者の脳から収集された信号に対応する。
【0118】
方法は、ＥＧデータが、好ましくはセグメント化プロトコルに従ってセグメントにセグメント化される２４２に進む。好ましくは、セグメント化プロトコルは所定であり、より好ましくは、上記にさらに詳説されるように、セグメント化プロトコルは所定であり、被験者の活動とは無関係である。いくつかの実施形態では、セグメント化プロトコルは、上記にさらに詳説されるように、スライドウィンドウを用い、いくつかの実施形態では、セグメント化プロトコルは、上記にさらに詳細に説明されるように、ＥＧデータだけに基づいている。必ずしもではないが、好ましくは、セグメントは、ＥＧデータ内のエネルギーバーストに従って定義された。これは、例えば、チャネルのエネルギーバンド包絡線を取得するためにＥＧデータの各チャネルにヒルベルト変換を適用し、エネルギーが所定の閾値を超える時間間隔を識別するためにエネルギーバンド包絡線に閾値化を適用することによって達成することができる（エネルギーバースト）。セグメントは、次に識別された時間間隔に基づいて定義できる。
【0119】
方法は、セグメントのそれぞれがラベルを割り当てられる２４３に進むことができる。ラベルは、被験者がそれぞれのセグメントと重複する時間間隔中に実行するように要求されるタスクに従って、及び推定することが所望される意識状態に従って選択される。本発明の様々な例示的な実施形態では、ラベルはバイナリである。代表的な例として、被験者の脳が疲労状態にある可能性を推定することが所望される場合を考える。さらに、ＥＧ信号が収集された期間中に、被験者が、注意を必要とするタスク（例えば、データ入力、読書、画像表示、運転など）を実行するように要求される時間間隔と、被験者がいずれのそのようなタスクを実行せず、（例えば、目を閉じることによって）疲労状態を模倣するように要求される時間間隔があることを考える。この場合、被験者が、注意を要するタスクを実行する間隔と重複するセグメントには、あるラベル（例えば、「０」）が割り当てられ、被験者が疲労状態を模倣する間隔と重複するセグメントには別のラベル（例えば、「１」）が割り当てられる。
【0120】
方法は、分類特徴が各セグメントから抽出される２４４に進む。分類特徴は、任意選択で及び好ましくは、少なくともセグメント内のＥＧデータの周波数に基づいている。例えば、方法は、例えばフーリエ変換を使用して、セグメント内の脳波帯域（例えば、アルファ帯域、ベータ帯域、デルタ帯域、シータ帯域、及びガンマ帯域）を決定し、脳波帯域ごとに１つまたは複数の特徴を抽出することができる。抽出できる特徴の代表的な例は、各脳波帯域のエネルギー含有量である。これらの実施形態は、セグメント化２４２がスライドウィンドウを用いるときに特に役立つ。セグメント化がエネルギーバーストによるとき、特徴は、それぞれの周波数帯域のバーストのピーク振幅、それぞれの周波数帯域の包絡線下の面積、及びそれぞれの周波数帯域のバーストの持続時間の少なくとも１つを含むことができる。
【0121】
セグメントごとに抽出される特徴の数はＤで示されるため、２４４で、各セグメントはＤ次元特徴ベクトルを割り当てられる。
【0122】
方法は２４５に続行し、そこで２４４で抽出された特徴にクラスタ化手順が適用され、シードで各クラスタを初期化する。本実施形態は、教師なし最適ファジークラスタリング（ＵＯＦＣ）手順などであるが、これに限定されない任意のクラスタ化手順を企図する。好ましくは、クラスタ化は、所定数、Ｌのクラスタを提供するために実行される。クラスタ化手順での初期クラスタシードはランダムである場合があるか、またはより好ましくは、それは方法に対する入力である場合がある（例えば、コンピュータ可読媒体から読み取られる）。クラスタシードを計算するための技術の代表的な例は、以下に提供される。
【0123】
方法は、任意選択で及び好ましくは、クラスタが被験者の意識状態に従ってランク付けされる２４６に続行する。ランク付けは、クラスタに対するＥＧデータのセグメントの帰属関係レベルによる可能性がある。具体的には、クラスタごとに、関心のある意識状態を識別するラベルでラベル付けされたすべてのセグメントの帰属関係レベルは、クラスタにランク付けスコアを提供するために結合する（例えば、総計する、平均するなど）ことができ、最高のランク付けスコアを生じさせるクラスタは、関心のある意識状態を特徴付けるクラスタとして定義することができる。被験者の脳が疲労状態にある可能性を推定することが所望される上述の例示的な場合を参照すると、各クラスタのランク付けスコアは、「１」でラベル付けされたすべてのセグメントの帰属関係レベルを結合することによって計算することができ、最高のランク付けスコアを生じさせるクラスタは、疲労状態を特徴付けるクラスタとして定義することができる。帰属関係レベルは、任意選択で及び好ましくは範囲［０、１］にある。帰属関係レベルは、１／ｄｉ，ｊに比例するように定義することができ、ｄｉ，ｊは、ｊ番目のセグメント特徴からｉ番目のクラスタまでの距離である。好都合なことに、所与のクラスタに対する各セグメントの帰属関係レベルを表す帰属関係行列は、ランク付けのために構築し、使用することができる。
【0124】
方法は２４７で終了する。
【0125】
方法２４０が取得するクラスタのパラメータは、任意選択で及び好ましくは、将来の使用のためにコンピュータ可読媒体に格納できる。例えば、本発明のいくつかの実施形態では、クラスタの１つまたは複数、またはクラスタのそれぞれの中心の特徴空間内の座標は、将来の使用のために、コンピュータ可読媒体に格納できる。好ましくは、関心のある意識状態を特徴付ける少なくともクラスタの中心の座標が格納される。
【0126】
格納されたクラスタパラメータは、同じ被験者のラベルなしデータセグメントに意識状態スコアを割り当てるために使用できる。そのようなラベルなしデータセグメントは、通常、後のセッション中に同じ被験者の脳からＥＧ信号を収集し、信号をデジタル化してＥＧデータを形成し、例えば所定であるプロトコル、及びより好ましくは、所定であり、被験者の活動と無関係であるプロトコルなど、セグメント化プロトコルに従ってデータをセグメント化することによって取得される。被験者の脳が疲労状態にある可能性を推定することが所望される上述の例示的な場合を参照すると、疲労状態を特徴付けるとして以前に定義された、格納されたクラスタに対する所与のラベルなしデータセグメントの帰属関係レベルは、（例えば、セグメントの特徴ベクトルとクラスタの中心との間の特徴空間内での距離を計算することによって）計算することができ、脳が、所与のラベルなしデータセグメントと重複する時間間隔中に疲労状態にある可能性は、この帰属関係レベルに基づいて推定することができる。帰属関係レベルが範囲［０、１］にある本発明の実施形態では、可能性は帰属関係レベル自体である可能性がある。代わりに、可能性は、帰属関係レベルを正規化することによって定義することができる。
【0127】
図２４Ｂを参照すると、方法は２５０で開始し、被験者のグループの被験者のそれぞれについてＥＧデータが受け取られる２５１に続行する。ＥＧデータは、脳活動に従事しているそれぞれの被験者の脳から収集された信号に対応する。任意選択で及び好ましくは、各被験者のＥＧデータは、上記にさらに詳説されるように、セグメント化され、ラベル付けされる。方法は、上記にさらに詳説されるように、分類特徴が被験者ごとに収集されたＥＧデータから抽出される２５２に続行する。２５３で、特徴は、被験者ごとに別々に、任意選択で及び好ましくはランダム初期化シードを使用してクラスタ化される。好ましくは、クラスタ化は、所定数、Ｌのクラスタを提供するために実行される。取得されたクラスタのそれぞれは、特徴のＤ次元の中心ベクトルによって特徴付けられ、その結果、操作２５３は、中心ベクトルの複数のＬ個のセットを、被験者ごとに１つのＬ個のセットずつ提供する。
【0128】
本明細書では、「Ｌ個のセット」は、Ｌ個の要素を含むセットを意味する。
【0129】
方法は、Ｄ次元の中心ベクトルが被験者のグループ全体でクラスタ化される２５４に続行する。クラスタ化は、ＵＯＦＣ手順を含むが、これに限定されない任意のクラスタ化手順を使用することである場合がある。好ましくは、クラスタ化は、２５３でと同じ数のＬ個のクラスタを提供するために実行される。２５４で提供されたクラスタのそれぞれはまた中心を有し、方法は、任意選択で及び好ましくは、操作２５４によって提供されたクラスタのそれぞれから中心を抽出し２５５、合計Ｌ個の新しいクラスタ中心を生じさせる。本発明のいくつかの実施形態では、方法は２５６に進み、そこでクラスタ操作のためのシードが、２５５で提供される、Ｌ個の新しいクラスタ中心であることを除き、グループの特定の被験者の特徴は再クラスタ化される。
【0130】
任意選択で及び好ましくは、再クラスタ化２５６の前に、２５２で抽出された分類特徴の集合体は、２５５で抽出された新しいクラスタ中心によって補足され、その結果、再クラスタ化２５６が適用される分類特徴の集合体が適用され、クラスタ化２５３が適用される分類特徴の集合体よりも大きい。発明者らは、集合体のそのような拡大により、方法の性能が安定化することを発見した。
【0131】
２５７で、方法は、上記にさらに詳説されるように、被験者の意識状態に従ってクラスタをランク付けし、２５８で方法は終了する。
【0132】
方法２５０が取得するクラスタの１つまたは複数のパラメータは、任意選択で及び好ましくは、上記にさらに詳説されるように、将来の使用のためにコンピュータ可読媒体に格納できる。格納されたクラスタパラメータは、クラスタ化プロセスが方法２５０によって適用された同じ被験者、または代わりに異なる被験者である可能性がある被験者のラベルなしデータセグメントに意識状態スコアを割り当てるために使用できる。言い換えれば、クラスタパラメータはいったん格納されると、それらは普遍的として扱われ、任意の被験者に使用することができる。
【0133】
図２５は、本発明のいくつかの実施形態による、マインドワンダリング状態または不注意な脳状態を決定するために適切な方法を説明するフローチャート図である。方法は３００で開始し、上記にさらに詳説されるように、ＥＧデータが受け取られる３０１に続行する。ＥＧデータは、ある期間にわたって脳活動に従事している被験者の脳から収集された信号に対応し、期間は、被験者がノーゴータスクを実行する間隔を含む。
【0134】
ノーゴータスクは、状況がなんらかの基準を満たさない限り、被験者が状況に応答するように要求されるタスクであり、状況がなんらかの基準を満たす場合、被験者は応答しないように要求される。例えば、被験者は、一連の数字を提示され、数字がなんらかの基準（例えば、数字が「３」である）を満たさない限り、現在提示されている数字に（例えば、数字を入力することによって）応答するように要求される場合があり、数字が何らかの基準を満たす場合には、被験者は応答しないように要求される。
【0135】
方法は、ＥＧデータがセグメント化される３０２に続行する場合がある。セグメント化は、好ましくは、ノーゴータスクの開始（上記例では、数字「３」が表示される時間インスタンス）がすべてセグメント外に保たれるようなものである。言い換えれば、セグメント化は、各セグメントが、ノーゴータスクのいずれの開始も欠く時間間隔によって包含されるようなものである。好ましくは、各セグメントの最後は、ノーゴータスクの任意の開始のｔ ｍｓ前であり、ｔは、少なくとも５０、または少なくとも１００、または少なくとも１５０、または少なくとも２００である。
【0136】
３０３で、セグメントのそれぞれには、セグメントの直後の開始に対する被験者のコミッションエラーに従ってラベルが割り当てられる。具体的には、被験者がセグメント直後の開始に応答するとき（コミッションエラー）、第１のラベル、例えば「１」がセグメントに割り当てられ、被験者がセグメントの直後の開始に応答しないとき（他人棄却）、第２のラベル、例えば「０」がセグメントに割り当てられる。
【0137】
方法は、任意選択で及び好ましくは、３０４に続行し、そこで３０２で定義されたセグメント及び３０４で割り当てられたラベルは、セグメントが、被験者の脳がマインドワンダリング状態にある時間ウィンドウに対応する可能性を推定するように機械学習手順を訓練するために使用される。発明者らは、開始をセグメント外に保ち、開始前であるセグメントを用いてＥＧデータを分析することによって、ラベリングに基づいてマインドワンダリング状態を識別できることを発見した。
【0138】
例えば、コミッションエラーの直前であるセグメントを考える。被験者は、セグメントの直後の開始でエラーをしたので、被験者が、開始直前にマインドワンダリング状態にあった可能性が高い。機械学習手順は、すべてのそのようなセグメントのＥＧデータパターンを取り込み、これらのパターンの類似性を発見しようと試みる。他方で、他人棄却直前であるセグメントを考える。被験者は、セグメント直後の開始に応答をすべきではないことを適切に識別しているので、被験者が、開始直前にマインドワンダリング状態になかった可能性が高い。機械学習手順はまた、取り込み、これらのセグメントのＥＧデータパターン間の類似性を発見しようと試みる。
【0139】
訓練された機械学習手順は次に、コンピュータ可読媒体に格納する３０５ことができ、後にそれを再訓練する必要なく使用することができる。実行時、ラベルなしセグメントは、訓練された機械学習手順に供給される。手順は、ラベルなしセグメントが、トレーニングデータのＥＧパターンのどれにより類似しているのかを決定し、それに応じて出力を発行する。
【0140】
方法は３０６で終了する。
【0141】
方法１０、２０、２３０、２４０、２５０、及び３００の２つ以上は、上述の状態のそれぞれのスコアを提供する結合された方法を提供するために互いに結合できる。方法は、連続して、任意の順序で、または同時にて実行することができる。
【0142】
本明細書で使用する場合、用語「約」は±０％を指す。
【0143】
「備える（ｃｏｍｐｒｉｓｅｓ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」という用語及びそれらの同根語は、「限定ではないが、～を含む（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」を意味する。
【0144】
用語「～から成る（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」は、「含み、～に限定される（ｉｎｃｌｕｄｉｎｇ ａｎｄ ｌｉｍｉｔｅｄ ｔｏ）」を意味する。
【0145】
用語「本質的に～からなる（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」は、組成物、方法または構造物が、追加の成分、ステップ及び／または部品を含むことができることを意味するが、追加の成分、ステップ及び／または部品が、特許請求された組成物、方法または構造物の基本的かつ新規な特性を実質的に変えない場合に限る。
【0146】
本明細書で使用する場合、文脈上明らかに別段に示されている場合を除き、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、複数の指示対象を含む。例えば、用語「化合物（ａ ｃｏｍｐｏｕｎｄ）」または「少なくとも１つの化合物（ａｔ ｌｅａｓｔ ｏｎｅ ｃｏｍｐｏｕｎｄ）」は、それらの混合物を含む複数の化合物を含み得る。
【0147】
本願を通して、本発明の様々な実施形態は、範囲形式で提示され得る。範囲形式での説明は、単に便宜上及び簡潔にするためのものであり、本発明の範囲に対する柔軟性のない制限として解釈されるべきではないことを理解されたい。したがって、範囲の説明は、その範囲内の個々の数値だけでなく、可能性のあるすべての部分範囲を具体的に開示したものと見なされるべきである。例えば、「１～６」などの範囲の記述は、「１～３」、「１～４」、「１～５」、「２～４」、「２～６」、「３～６」などの部分範囲と、その範囲内の個々の数値、例えば、１、２、３、４、５、及び６とを具体的に開示していると見なされるべきである。これは、範囲の広さに関係なく適用される。
【0148】
本明細書で数値範囲が示されるときはいつでも、それは、示された範囲内の任意の引用された数字（分数または整数）を含むことを意味する。第１の表示番号と第２の表示番号との「間の範囲（ｒａｎｇｉｎｇ／ｒａｎｇｅｓ ｂｅｔｗｅｅｎ）」という句、及び第１の表示番号「から」第２の表示番号「まで（ｔｏ）」の「範囲（ｒａｎｇｉｎｇ／ｒａｎｇｅｓ ｆｒｏｍ）」という句は、本明細書では互換的に使用され、第１の表示番号及び第２の表示番号と、それらの間の分数及び整数の数字のすべてを含むことを意味する。
【0149】
明確にするために別個の実施形態の文脈において説明される本発明のある特徴を、単一の実施形態において組み合わせで設けることもできることが理解される。逆に、簡潔にするために単一の実施形態の文脈において説明される本発明の様々な特徴を、別々に、または任意の好適な副次的な組み合わせで、または本発明の任意の他の説明された実施形態において好適なものとして設けることもできる。様々な実施形態の文脈で説明される特定の特徴は、実施形態がそれらの要素なしでは機能しない場合を除いて、それらの実施形態の本質的な特徴と見なすべきではない。
【0150】
上記で説明され、以下の特許請求の範囲で特許請求される本発明の様々な実施形態及び態様は、以下の実施例で実験的裏付けを見出す。
【実施例】
【0151】
ここで、以下の実施例が参照されるが、下記の実施例は、上記の説明とともに、本発のいくつかの実施形態を非限定様式で例示する。
【0152】
実施例１
「試行性」の推定
方法
ＥＥＧ信号は、被験者が視覚刺激として画像のセットを提示されていた間に脳から記録された。ＥＥＧ信号はＥＥＧデータを提供するためにデジタル化され、データは、バンドパスフィルタ１～２０Ｈｚを適用することによって、及びアーティファクトを除去することによって前処理された。データは、画像開始に対して－１００ｍｓ～９００ｍｓでセグメント化された。これらの試行から、２セットのトリミングされたウィンドウが抽出された。固定された始まりウィンドウ（「真の試行」）は、画像開始に対して－１００ｍｓ～１７５ｍｓ（ウィンドウ幅２７５ｍｓ）で定義され、可変始まりウィンドウ（「偽の試行」）は、真の試行と同じ幅でランダムな始まりを含むように定義された。
「試行性」の推定
方法
ＥＥＧ信号は、被験者が視覚刺激として画像のセットを提示されていた間に脳から記録された。ＥＥＧ信号はＥＥＧデータを提供するためにデジタル化され、データは、バンドパスフィルタ１～２０Ｈｚを適用することによって、及びアーティファクトを除去することによって前処理された。データは、画像開始に対して－１００ｍｓ～９００ｍｓでセグメント化された。これらの試行から、２セットのトリミングされたウィンドウが抽出された。固定された始まりウィンドウ（「真の試行」）は、画像開始に対して－１００ｍｓ～１７５ｍｓ（ウィンドウ幅２７５ｍｓ）で定義され、可変始まりウィンドウ（「偽の試行」）は、真の試行と同じ幅でランダムな始まりを含むように定義された。
【0153】
定義されたウィンドウは、線形分類器及び非線形分類器（本実施例では、ＣＮＮ）も訓練するために使用された。
【0154】
トレーニング後、分類器は、同じ被験者に対してであるが、異なる画像レビューセッション中に、取得されたＥＥＧデータを供給された。各分類器は、必要とされる精度及びレイテンシに基づいて選択された、可変ウィンドウサイズの移動平均フィルタによって平滑化された試行性スコアのセットを生成した。本実施例では、１～２５秒のウィンドウサイズが使用された。
【0155】
線形分類器
各入力セグメントは、Ｍ個のチャネルにわたるＮ個のＥＥＧデータサンプルを含んでいた。
各入力セグメントは、Ｍ個のチャネルにわたるＮ個のＥＥＧデータサンプルを含んでいた。
【0156】
データ行列Ｘ（セグメントあたりのデータサンプルかけるチャネル）の場合、重み行列Ｕ（チャネルかけるデータサンプル）は、ＦＬＤ技術を使用して作成された。データ行列Ｘは、重み行列Ｕで乗算されて、試行と非試行の間の差を増幅させた。Ｋ個の成分へのデータ削減の場合、射影行列Ａ（サンプルかけるＫかけるチャネル）が、チャネルごとに独立して時間ＰＣＡを使用して計算された。ＰＣＡの上位Ｋ個の成分が保持された。本実施例では、Ｋは６となるように設定された。ＦＬＤは、成分及びチャネルがより重く重み付けされた時点を選ぶために計算された。
【0157】
【0158】
結果
単一の被験者
被験者は、３つのタスク、つまり注意タスク－対象を含む画像を探すこと、不注意タスク－画像を見ないこと、及び目を閉じることを実行した。
単一の被験者
被験者は、３つのタスク、つまり注意タスク－対象を含む画像を探すこと、不注意タスク－画像を見ないこと、及び目を閉じることを実行した。
【0159】
図４は、試行性値のセットから取得され、１秒（上部パネル）、２秒（第２のパネル）、５秒（第３のパネル）、及び１０秒（下部パネル）の平滑化係数（ウィンドウサイズ）で平滑化された試行性信号を示す。注意閾値は、黒の太線で記されている。青色は、被験者が画像に注意していた時間間隔に対応し、赤色は、被験者が画像に不注意であった時間間隔に対応し、黄色は被験者が目を閉じていた時間間隔に対応する。平滑化係数を増加させることによって、注意状態と不注意状態とを区別するのが容易になることに留意されたい。例えば、下部パネル（１０秒の平滑化係数）で、すべての赤い点は注意閾値未満であり、この被験者の場合、試行性スコアが、１０秒以内に注意の喪失を検出することに１００％成功していることを実証している。
【0160】
２１人の被験者
人の被験者が、様々なカテゴリの一連の画像を見て、家を含むそれらの画像を探すように要求された。画像は、４Ｈｚの速度でコンピュータ画面に表示された。トレーニングのために、２０００回の試行が使用された。試行性の精度を試験するために、被験者は、家を探す（注意するタスク、８００回試行）が、画面から目を逸らし（目の逸らしタスク、４００回試行）、画面を見ながら、注意散漫タスクに従事する（算数の問題を解く）ように再び要求されたため、被験者は画像に不注意になるであろう（不注意タスク、８００回試行）。被験者は、１００秒ごとに休憩をとった。
人の被験者が、様々なカテゴリの一連の画像を見て、家を含むそれらの画像を探すように要求された。画像は、４Ｈｚの速度でコンピュータ画面に表示された。トレーニングのために、２０００回の試行が使用された。試行性の精度を試験するために、被験者は、家を探す（注意するタスク、８００回試行）が、画面から目を逸らし（目の逸らしタスク、４００回試行）、画面を見ながら、注意散漫タスクに従事する（算数の問題を解く）ように再び要求されたため、被験者は画像に不注意になるであろう（不注意タスク、８００回試行）。被験者は、１００秒ごとに休憩をとった。
【0161】
図５は、線形分類器とディープラーニング（本実施例ではＣＮＮ）分類器（方法を参照）の精度の比較を示す。示されるように、被験者の大部分について、ディープラーニングはより高いＡＵＣを生じさせた。ＡＵＣの計算のため、注意タスクからのデータは、ラベル「１」を付けられ、不注意タスク及び目の逸らしタスクからのデータはラベル「０」を付けられた。
【0162】
図６は、データ蓄積による性能精度の向上を実証している。示されているのは、ウィンドウサイズの関数としての条件あたりの肯定的な決定の率である。目の逸らし及び不注意について、それぞれ、青い線は、偽陽性率（すべての真に不注意な試行の中から不注意として誤検出された試行）を表し、黄及び赤の線は真陽性率（不注意として検出されたすべての試行の中から不注意として正しく検出された試行）を表す。時間軸に沿って移動すると、より多くのデータが蓄積されるにつれ、性能精度の向上が観察される。例えば、２秒後に、目の逸らしの場合の９５％を検出することが可能であるが、不注意の３分の１にすぎない。
【0163】
図７は、休憩（ｔ＝０）の前（ｔ＞０）及び後（ｔ＜０）の、２１人の被験者全体で平均された正規化指向性スコアを示す。どの時点で注意が移ったのかを試験するために、一連のｔ検定が実施された。各ｔ検定で、特定のときのすべての被験者の試行性が、中央のスコア（０．５）に比較された。有意な時点（ｐ＜０．０５）は、図５に強調表示されている（試行性が高い場合は緑、試行性が低い場合は赤）。示されるように、休憩後、被験者はより高い試行性レベルを示した。これは約２０～２５秒間続いた。通常、被験者は休憩後はより注意しているので、図７は、本実施形態の試行性尺度が注意の尺度としての機能を果たすことができることを実証している。
【0164】
本実施例は、本実施形態の試行性尺度が、被験者が画像から目を離すか、または目を閉じる顕在的な注意の変化を検出する上で効果的であることを実証している。本実施例は、本実施形態の試行性尺度がまた、平均して約１５秒の期間内に、内潜的な注意の変化（被験者が画像を見ていたが、画像に注意を払っていなかった）を検出する上で効果的であることを実証している。
【0165】
実施例２
ラベル付きＥＥＧデータからの注意の推定
本実施例は、ラベル付きのＥＥＧデータに基づいて訓練された時間領域分類器及び周波数領域分類器を説明する。ＥＥＧ信号は、被験者に、いずれのタスクも実行せずに画像を凝視するように指示しながら収集された（注意の内潜的な喪失）。閉眼データ（顕在的な）、ならびに他の内潜的な及び顕在的な不注意なタスクも収集された。分類器は次に、注意状態と不注意状態を区別するように訓練された。時間領域分類器と周波数領域分類器の両方とも使用された。
ラベル付きＥＥＧデータからの注意の推定
本実施例は、ラベル付きのＥＥＧデータに基づいて訓練された時間領域分類器及び周波数領域分類器を説明する。ＥＥＧ信号は、被験者に、いずれのタスクも実行せずに画像を凝視するように指示しながら収集された（注意の内潜的な喪失）。閉眼データ（顕在的な）、ならびに他の内潜的な及び顕在的な不注意なタスクも収集された。分類器は次に、注意状態と不注意状態を区別するように訓練された。時間領域分類器と周波数領域分類器の両方とも使用された。
【0166】
方法
ＥＥＧ信号は、被験者が視覚刺激として画像のセットを提示されていた間に脳から記録された。ＥＥＧ信号はＥＥＧデータを提供するためにデジタル化され、データは、バンドパスフィルタ１～３０Ｈｚを適用することによって、及びアーティファクトを除去することによって前処理された。データは、画像開始に対して－１００ｍｓ～９００ｍｓでセグメント化された。周波数領域分類器の場合、フーリエ変換が各セグメントに別々に適用され、１Ｈｚ～３０Ｈｚの周波数ビンを保持した。
ＥＥＧ信号は、被験者が視覚刺激として画像のセットを提示されていた間に脳から記録された。ＥＥＧ信号はＥＥＧデータを提供するためにデジタル化され、データは、バンドパスフィルタ１～３０Ｈｚを適用することによって、及びアーティファクトを除去することによって前処理された。データは、画像開始に対して－１００ｍｓ～９００ｍｓでセグメント化された。周波数領域分類器の場合、フーリエ変換が各セグメントに別々に適用され、１Ｈｚ～３０Ｈｚの周波数ビンを保持した。
【0167】
時間領域分類器は、注意時間セグメントと不注意時間セグメントを区別するように訓練され、周波数領域分類器は、注意周波数ビンと不注意周波数ビンを区別するように訓練される。
【0168】
トレーニング後、時間領域分類器及び周波数領域分類器は、同じ被験者に対してであるが、異なる画像レビューセッション中に、取得されたＥＥＧデータを供給された。
【0169】
【0170】
周波数領域分類器
単一セグメントの入力データは、Ｍ個のチャネルにわたるＫ個の周波数ビンを含んでいた。本実施例では、１～３０Ｈｚの周波数範囲にわたる３０個の周波数ビンが使用されていた。本実施例の分類器は、図３Ａ～図３Ｂに示されるアーキテクチャを有するＣＮＮであった。
単一セグメントの入力データは、Ｍ個のチャネルにわたるＫ個の周波数ビンを含んでいた。本実施例では、１～３０Ｈｚの周波数範囲にわたる３０個の周波数ビンが使用されていた。本実施例の分類器は、図３Ａ～図３Ｂに示されるアーキテクチャを有するＣＮＮであった。
【0171】
結果
７人の被験者
７人の被験者が、様々なカテゴリの一連の画像が４Ｈｚの速度でコンピュータ画面に表示されていた間に４つの異なるタスクを実行するように要求された。第１のタスクで、家を含んだそれらの画像を探す（注意タスク）。第２のタスクで、被験者は、画面から目を逸らすように要求された（顕在的な不注意タスク）。第３のタスクで、被験者は、表示されていた画像に注意を払わずに画面を凝視するように要求された（内潜的な不注意タスク）。第４のタスクで、被験者は、目を閉じるように要求された（顕在的な不注意タスク）。
７人の被験者
７人の被験者が、様々なカテゴリの一連の画像が４Ｈｚの速度でコンピュータ画面に表示されていた間に４つの異なるタスクを実行するように要求された。第１のタスクで、家を含んだそれらの画像を探す（注意タスク）。第２のタスクで、被験者は、画面から目を逸らすように要求された（顕在的な不注意タスク）。第３のタスクで、被験者は、表示されていた画像に注意を払わずに画面を凝視するように要求された（内潜的な不注意タスク）。第４のタスクで、被験者は、目を閉じるように要求された（顕在的な不注意タスク）。
【0172】
図８は、試行性スコア（青い縦線）と、ラベル付きＥＥＧデータを使用して訓練された時間領域（赤い縦線）と周波数領域（橙色の縦線）のＣＮＮによって生成されたスコアとの比較を示す。示されているのは、３つの分類器のそれぞれによって検出された、凝視不注意（上部パネル）、目の逸らし不注意（中央パネル）、及び閉眼不注意（下部パネル）の２秒のエポック（８つの画像）のＡＵＣ結果である。
【0173】
図８は、大部分の被験者について、試行性スコアが、ＡＵＣが０．９を超える顕在的な不注意（閉眼、及び目の逸らし）を検出するために効果的であることを実証している。ただし、内潜的な不注意（凝視）の場合、一部の被験者（被験者番号２、３、６、及び７）は、時間領域分類器または周波数領域分類器を使用することの恩恵を受けた。
【0174】
実施例３
スコアの結合
方法
異なる分類器（本実施例では試行性、時間領域、及び周波数領域）を結合するために、３つすべての三つの分類器を使用して検証データが分類され、各分類器のＡＵＣが計算された。被験者ごとに、最良の分類器と比較してＡＵＣが０．１未満であった分類器が、それらにゼロ重みを割り当てることによって破棄された。残りの分類器については、重みを計算するために以下の式が使用された。
ここで、ＡＵＣｉは、合計ｎ個の分類器のｉ番目の分類器のＡＵＣ値である。
スコアの結合
方法
異なる分類器（本実施例では試行性、時間領域、及び周波数領域）を結合するために、３つすべての三つの分類器を使用して検証データが分類され、各分類器のＡＵＣが計算された。被験者ごとに、最良の分類器と比較してＡＵＣが０．１未満であった分類器が、それらにゼロ重みを割り当てることによって破棄された。残りの分類器については、重みを計算するために以下の式が使用された。
【数1】
【0175】
図８を参照すると、上部パネルで、試行性分類器、時間領域分類器、及び周波数領域分類器の被験者番号１のＡＵＣ値は、それぞれ０．７３３、０．７２５、及び０．４９２である。したがって、第３の分類器の重みは、それが最大ＡＵＣに比較して０．１を超えて小さいため、ゼロに設定された。被験者番号１の最初の２つの分類器の重みは、０．５０９及び０．４９１である。３つの分類器のスコアは、次にゼロと１との間の値に正規化され、次にそれらの対応する重みで乗算され、総計される。試行性あたり１つのスコアずつ、結果として生じたスコアのセットは、被験者の脳が注意状態にあった可能性の予測因子として使用された。
【0176】
結合された分類器は、２５人の被験者のコホートで試験された。被験者は、異なる３日間に一連のタスクを実行するように要求された。
【0177】
１日目
（ｉ）５分間目を閉じる（「閉じるＡ」）
（ｉｉ）５分間空白の画面を見る（「開くＡ」）
（ｉｉｉ）１０分間、４Ｈｚ の速度でコンピュータ画面に表示される７つの他のカテゴリの中から家の画像を検出する
（ｉｖ）４Ｈｚの速度でコンピュータ画面に表示される通常の画像（「Ｐｉｘ Ａ」）の中で１０分間、ピクセル化された領域を含む画像を検出する
（ｖ） ５分間目を閉じる（「閉じるＢ」）
（ｉ）５分間目を閉じる（「閉じるＡ」）
（ｉｉ）５分間空白の画面を見る（「開くＡ」）
（ｉｉｉ）１０分間、４Ｈｚ の速度でコンピュータ画面に表示される７つの他のカテゴリの中から家の画像を検出する
（ｉｖ）４Ｈｚの速度でコンピュータ画面に表示される通常の画像（「Ｐｉｘ Ａ」）の中で１０分間、ピクセル化された領域を含む画像を検出する
（ｖ） ５分間目を閉じる（「閉じるＢ」）
【0178】
２日目
（ｉ）４Ｈｚの速度でコンピュータ画面に表示される通常の画像（「Ｐｉｘ Ｂ」）の中で１０分間、ピクセル化された領域を含む画像を検出する
（ｉｉ）５分間空白の画面を見る（「開くＢ」）
（ｉｉｉ）４Ｈｚの速度でコンピュータ画面に表示される通常の画像（「Ｐｉｘ Ｃ」）の中で１０分間、ピクセル化された領域を含む画像を検出する
（ｉｉｉ）画像が４Ｈｚ の速度で表示される画面を５分間凝視する（「凝視する」）。
（ｉ）４Ｈｚの速度でコンピュータ画面に表示される通常の画像（「Ｐｉｘ Ｂ」）の中で１０分間、ピクセル化された領域を含む画像を検出する
（ｉｉ）５分間空白の画面を見る（「開くＢ」）
（ｉｉｉ）４Ｈｚの速度でコンピュータ画面に表示される通常の画像（「Ｐｉｘ Ｃ」）の中で１０分間、ピクセル化された領域を含む画像を検出する
（ｉｉｉ）画像が４Ｈｚ の速度で表示される画面を５分間凝視する（「凝視する」）。
【0179】
３日目
（ｉ）紙と鉛筆のタスクである３０分間の内田クレペリン試験を実行する（長い行の数を追加する）（「ＵＫＴｅｓｔ」）
（ｉ）紙と鉛筆のタスクである３０分間の内田クレペリン試験を実行する（長い行の数を追加する）（「ＵＫＴｅｓｔ」）
【0180】
注意状態は、被験者が対象（「家」、「ＰｉｘＡ」、「ＰｉｘＢ」、「ＰｉｘＣ」）を検出するように要求されたタスクとして定義され、タスクの残りすべては、不注意と定義された。収集されたデータは、注意状態対不注意状態を検出するために、試行性分類器、時間領域分類器及び周波数領域分類器、ならびに結合分類器を使用して分類された。
【0181】
結果
図９は、４つの分類方法を使用して注意状態を検出するためのＡＵＣ性能を示す。示されるように、２５人の被験者のうちの１８人の被験者について、結合分類器で最高のＡＵＣが取得された。他の被験者の場合、他の分類器が最大ＡＵＣを達成した。
図９は、４つの分類方法を使用して注意状態を検出するためのＡＵＣ性能を示す。示されるように、２５人の被験者のうちの１８人の被験者について、結合分類器で最高のＡＵＣが取得された。他の被験者の場合、他の分類器が最大ＡＵＣを達成した。
【0182】
図１０は、２５人の被験者で平均された、この被験者に最高のＡＵＣを提供した分類器を使用して、被験者ごとに取得されたスコアとして定義される注意指数を示す。図１０は、注意状態と不注意状態を区別する注意指数の能力を実証している。これは閾値化によって行うことができ、注意指数が所定の閾値を超えているとき、脳は注意状態にあり、注意指数が所定の閾値を超えていないとき、脳波不注意状態にある。本実施例では、所定の閾値は約０．７６である可能性がある。
【0183】
実施例４
聴覚刺激に対する「試行性」の推定
４人の医学生は、病的な聴診器の記録（クラックル）を聞くように要求された。固定始まりウィンドウ（「真の試行」）が、聴覚刺激開始に対して－１００ｍｓ～１８５ｍｓ（ウィンドウ幅２８５ｍｓ）に定義されたことを除き、データは実施例１の第３項と同様に処理された。試行性分類器は、被験者ごとに別々に訓練及び試験された。さらに、結合されたすべてのデータに対して別の分類器が訓練された。
聴覚刺激に対する「試行性」の推定
４人の医学生は、病的な聴診器の記録（クラックル）を聞くように要求された。固定始まりウィンドウ（「真の試行」）が、聴覚刺激開始に対して－１００ｍｓ～１８５ｍｓ（ウィンドウ幅２８５ｍｓ）に定義されたことを除き、データは実施例１の第３項と同様に処理された。試行性分類器は、被験者ごとに別々に訓練及び試験された。さらに、結合されたすべてのデータに対して別の分類器が訓練された。
【0184】
【0185】
３人の被験者（被験者Ａ、被験者Ｂ、被験者Ｄ）の場合、性能は十分に高かった（０．５９～０．７６）。結合されたデータに関して訓練された分類器は、同様の結果（０．７８）を生じさせた。本実施例は、刺激が聴覚である場合にも、脳が注意状態にある可能性を推定する本実施形態の試行性尺度の能力を実証している。
【0186】
実施例５
刺激と同期しない推定注意
本実施例は、ＥＥＧデータが刺激と同期していない場合の注意を推定するための技術を説明する。技術は、刺激によって駆動されない関心のあるタスクを実行している間に脳が注意状態にある可能性を推定するために使用できる。例えば、関心のあるタスクは、ランダムな時間間隔でまたは被験者自身が選択する時間間隔で実行することができる。
刺激と同期しない推定注意
本実施例は、ＥＥＧデータが刺激と同期していない場合の注意を推定するための技術を説明する。技術は、刺激によって駆動されない関心のあるタスクを実行している間に脳が注意状態にある可能性を推定するために使用できる。例えば、関心のあるタスクは、ランダムな時間間隔でまたは被験者自身が選択する時間間隔で実行することができる。
【0187】
説明されている技術は、ロジスティック回帰タイプの機械学習手順に基づく。手順のトレーニングは被験者に固有であり、注意を推定される関心のあるタスクにも固有である。所与のタイプの関心のあるタスク（例えば、視覚処理タスク、聴覚処理タスク、作業メモリタスク、長期メモリタスク、言語処理タスク、マルチタスキングなど）の場合、２セットのトレーニングタスクが選択される。第１のセットは、関心のあるタスクと同じタイプである注意トレーニングタスクを含み、第２のセットは、関心のあるタスクとは異なるタイプである不注意トレーニングタスクを含む。第１のセットのトレーニングタスクは関心のあるタスクを模倣し、第２のセットのトレーニングタスクは、関心のあるタスクを実行するための注意の喪失を模倣する。
【0188】
本実施例は、２つのタイプの関心のあるタスク、つまり、データ入力に関するタスク、及び画像注釈に関するタスクの手順を説明する。データ入力に関するタスクを実行するために、被験者は、特定のデータ項目の位置を突き止め、それらを書式に入力するように要求される。画像注釈（アノテーション、ａｎｎｏｔａｔｉｏｎ）に関するタスクを実行するために、被験者は、画像内の特定のタイプのオブジェクトの周りに境界ボックスを記すように要求される。
【0189】
方法
タスク
本実施例では、ロジスティック回帰用のトレーニングデータを生成するために以下のタスクが使用された。
タスク
本実施例では、ロジスティック回帰用のトレーニングデータを生成するために以下のタスクが使用された。
【0190】
データ入力
被験者は、異なる数値データ項目（異なる製品の価格、レビュースコア、レビュワーの数）を含む画像を提示された。異なるセッションで、被験者は、他のタイプのデータ項目（日付、名前、給与）を含む表を提示された。被験者は、書式内の特定のデータフィールドに特定のデータ値を入力するように依頼された。
被験者は、異なる数値データ項目（異なる製品の価格、レビュースコア、レビュワーの数）を含む画像を提示された。異なるセッションで、被験者は、他のタイプのデータ項目（日付、名前、給与）を含む表を提示された。被験者は、書式内の特定のデータフィールドに特定のデータ値を入力するように依頼された。
【0191】
ゲーム
被験者は、画面上で落下する数のアニメーションを提示され、数が画面の下部に到達する前に数を入力するように要求された。
被験者は、画面上で落下する数のアニメーションを提示され、数が画面の下部に到達する前に数を入力するように要求された。
【0192】
マインドワンダリング
上記のゲームタスクと同じであるが、落下する数を見ながら、被験者は、次の休暇、または先週末を想像しなければならなかった。
上記のゲームタスクと同じであるが、落下する数を見ながら、被験者は、次の休暇、または先週末を想像しなければならなかった。
【0193】
読書
被験者は、読書のためにランダムに選択されたトピックに関する段落を提示され、トピックに対する関心のレベルを評価するように要求された。
被験者は、読書のためにランダムに選択されたトピックに関する段落を提示され、トピックに対する関心のレベルを評価するように要求された。
【0194】
持続的注意応答タスク（ＳＡＲＴ）
被験者は、画面上に一連の数字を提示され、数字が３である場合を除き、表示された各数字の後にキーボードの対応する数字キーを押すように要求された。タスクは意図的に退屈であり、集中を維持するのが難しいように選択された。エラーが測定された。
被験者は、画面上に一連の数字を提示され、数字が３である場合を除き、表示された各数字の後にキーボードの対応する数字キーを押すように要求された。タスクは意図的に退屈であり、集中を維持するのが難しいように選択された。エラーが測定された。
【0195】
画像注釈
被験者は画面上に一連の画像を提示され、画面上で、画像内の特定のオブジェクト（例えば、大型車両、瓶）の周りに境界ボックスを描画するように要求された。
被験者は画面上に一連の画像を提示され、画面上で、画像内の特定のオブジェクト（例えば、大型車両、瓶）の周りに境界ボックスを描画するように要求された。
【0196】
開眼
被験者は、目を開けた状態で休むように要求された。
被験者は、目を開けた状態で休むように要求された。
【0197】
閉眼
被験者は、目を閉じて休むように要求された。
被験者は、目を閉じて休むように要求された。
【0198】
プロトコル
１９人の被験者が実験に参加した。被験者は２回来院訪問した。第１の訪問で、被験者は、データ入力タスク、ゲームタスク、マインドワンダリングタスク、読書タスク、ＳＡＲＴタスク、開眼タスク、閉眼タスク、及び画像注釈タスクを実行するように要求された。第２の訪問で、被験者は、読書タスク、データ入力タスク、閉眼タスク、開眼タスク、及び画像注釈タスクを実行するように要求された。
１９人の被験者が実験に参加した。被験者は２回来院訪問した。第１の訪問で、被験者は、データ入力タスク、ゲームタスク、マインドワンダリングタスク、読書タスク、ＳＡＲＴタスク、開眼タスク、閉眼タスク、及び画像注釈タスクを実行するように要求された。第２の訪問で、被験者は、読書タスク、データ入力タスク、閉眼タスク、開眼タスク、及び画像注釈タスクを実行するように要求された。
【0199】
データ収集及びラベル付け
ＥＥＧデータが収集され、１／３秒のスライドウィンドウ及びウィンドウ間の５／６秒の重複を使用して、２秒のセグメントにセグメント化された。分類のための入力データは、データセグメントごとに、Ｍ個のチャネルにわたってＮ個の時点の２Ｄデータセグメントを含んでいた。
ＥＥＧデータが収集され、１／３秒のスライドウィンドウ及びウィンドウ間の５／６秒の重複を使用して、２秒のセグメントにセグメント化された。分類のための入力データは、データセグメントごとに、Ｍ個のチャネルにわたってＮ個の時点の２Ｄデータセグメントを含んでいた。
【0200】
第１の訪問で収集されたデータは、トレーニングデータセットとして定義され、第２の訪問で収集されたデータは、検証データセットとして定義された。
【0201】
セグメントは、それぞれのセグメント内で実行されたタスクに応じて、及び関心のあるタスクに応じて「０」及び「１」でラベル付けされた。具体的には、関心のあるタスクがデータ入力であったとき、被験者がデータ入力タスクを実行していた間のセグメントは「１」とラベル付けされ、被験者が任意の他のタスクを実行していた間のセグメントは「０」とラベル付けされ、関心のあるタスクが画像注釈であったとき、被験者が画像注釈タスクを実行していた間のセグメントは「１」とラベル付けされ、被験者が任意の他のタスクを実行していた間のセグメントは「０」とラベル付けされた。
【0202】
データ分析
本実施例では、機械学習手順は、特定の被験者が特定の関心のあるタスクに注意している可能性を推定するスコアを提供するように訓練され、被験者が従事する場合があるすべての他の活動をバックグラウンドタスクとして定義した。このスコアは、本明細書では「タスク固有の注意」と呼ばれる。本実施例では、タスク固有の注意は、範囲［０、１］の値を有する。
本実施例では、機械学習手順は、特定の被験者が特定の関心のあるタスクに注意している可能性を推定するスコアを提供するように訓練され、被験者が従事する場合があるすべての他の活動をバックグラウンドタスクとして定義した。このスコアは、本明細書では「タスク固有の注意」と呼ばれる。本実施例では、タスク固有の注意は、範囲［０、１］の値を有する。
【0203】
機械学習手順は、被験者ごとに別々に、及び関心のあるタスクごとに別々に訓練された。
【0204】
セグメント化されたＥＥＧデータは、１～４５Ｈｚのバンドパスフィルタによってフィルタリングされた。分類特徴のベクトルが、データセグメントごとに抽出された。一部の特徴はチャネル固有であり、他はチャネル間特徴を探すので、電極の数に応じて、異なる量の特徴が計算された。例えば、７電極ＥＥＧシステムの場合、７２３の分類特徴及び１つのラベルがあった。
【0205】
本実施例で使用される分類特徴は、以下の表５．１に要約されており、Ｍはチャネルの数である（本実施例では、Ｍ＝７）。
【表1】
【0206】
これらの特徴ベクトルは、トレーニングデータの特徴スコアの分布に従ってＺスコアに変換された。変換手順は、試験データにも使用するために保存された。
【0207】
ロジスティック回帰手順は、各セグメントに割り当てられたラベルを使用してトレーニングセットのＺスコアに関して訓練され、それぞれ、特徴ベクトルのそれぞれを形成する特徴のセットに対応する学習された係数のセットによって定義された、訓練されたロジスティック回帰関数を提供する。特定の被験者の検証データセットの所与のセグメントのタスク固有の注意は、特定の被験者について学習された係数を含む訓練されたロジスティック回帰関数を、所与のセグメントの特徴ベクトルに適用することによって計算された。
【0208】
結果
図１３は、１８人の被験者のプールに対するロジスティック回帰関数に影響があることが判明した３３の特徴を示す。図１３では、以下の略語が使用される。
ｓｔｄ：信号の標準偏差
ｂｐｍ：１分あたりの瞬き
ｖｐｍ：１分あたりの垂直眼球運動
ｃｏｖＭ：（２つのチャネルの）共分散
ｅｉｇｅｎｖａｌ：共分散行列の固有値
ｍａｘ：信号の最大値
｛Ｆｅａｔｕｒｅ｝＿Ｘ：Ｘは、関連する電極（チャネル）の指数を示す
｛Ｆｅａｔｕｒｅ｝＿Ｘ＿Ｙ：指数ＸとＹの２つの電極間の相互作用に依存する特徴の場合
図１３は、１８人の被験者のプールに対するロジスティック回帰関数に影響があることが判明した３３の特徴を示す。図１３では、以下の略語が使用される。
ｓｔｄ：信号の標準偏差
ｂｐｍ：１分あたりの瞬き
ｖｐｍ：１分あたりの垂直眼球運動
ｃｏｖＭ：（２つのチャネルの）共分散
ｅｉｇｅｎｖａｌ：共分散行列の固有値
ｍａｘ：信号の最大値
｛Ｆｅａｔｕｒｅ｝＿Ｘ：Ｘは、関連する電極（チャネル）の指数を示す
｛Ｆｅａｔｕｒｅ｝＿Ｘ＿Ｙ：指数ＸとＹの２つの電極間の相互作用に依存する特徴の場合
【0209】
被験者ごとに取得された、訓練されたロジスティック回帰関数は、検証データセットのセグメントに適用され、次に、割り当てられたラベルに基づいて状態の正しい検出について評価された。
【0210】
図１４Ａ及び図１４Ｂは、１９人の被験者について、関心のあるタスクがデータ入力（図１４Ａ）及び画像注釈（図１４Ｂ）として定義されたときのタスク固有の注意のＡＵＣ値を示す。また提供されるのは、すべての被験者で平均して取得された平均ＡＵＣ値である。示されるように、平均して、全分類器が０．９を超えるＡＵＣに到達している。
【0211】
実施例６
集中の推定
発明者らは、一般的な集中に典型的であるＥＥＧパターンを、固有のタスクに典型的であるＥＥＧパターンと区別できることを発見した。本実施例は、被験者が実行している特定のタスクに関わりなく、被験者が集中しているかどうかを検出するように訓練された分類器を説明する。
集中の推定
発明者らは、一般的な集中に典型的であるＥＥＧパターンを、固有のタスクに典型的であるＥＥＧパターンと区別できることを発見した。本実施例は、被験者が実行している特定のタスクに関わりなく、被験者が集中しているかどうかを検出するように訓練された分類器を説明する。
【0212】
方法
タスク及びプロトコルは実施例５においてと同じであった。
タスク及びプロトコルは実施例５においてと同じであった。
【0213】
データ収集及びラベル付け
ＥＥＧデータは収集され、２秒のセグメントにセグメント化された（ストライド＝０．５秒、及び７５％の重複）。
ＥＥＧデータは収集され、２秒のセグメントにセグメント化された（ストライド＝０．５秒、及び７５％の重複）。
【0214】
本実施例で使用されるラベルは、以下の表６．１に要約される。
【表2】
【0215】
したがって、セグメントは、被験者が、タスクの目標に肯定的に相互に関連付けられた（したがって、被験者の集中のレベルを示す）入力を提供するように要求されたすべてのタスクについて非特異的に「１」でラベル付けされた。他のすべてのタスクはバックグラウンドと見なされた。カウントはエラーの数であったため、ＳＡＲＴはバックグラウンドタスクと見なされることに留意されたい。
【0216】
第１の訪問で収集されたデータはトレーニングデータセットとして定義され、第２の訪問で収集されたデータは検証データセットとして定義された（実施例５：プロトコルを参照）。
【0217】
【0218】
トレーニング中、各セグメントは、セグメント中に実行されたタスクに従ってラベル付けされて、Ｙ＿ｔｒａｉｎと示された長さＮのベクトル（セグメントの数）を構成した。
【0219】
各セグメントは、トレンド除去、フーリエ変換（ｎ＝３００）の適用、スペクトルの絶対値への変換、及び４５Ｈｚでのクリッピングを含む前処理を受けた。これにより、次元ＮかけるＭかけるＫのデータセット行列Ｘ＿ｔｒａｉｎが提供され、Ｍはチャネルの数であり、Ｋは周波数ビンの数である。
【0220】
ＣＮＮは、勾配降下（Ａｄａｍオプティマイザ、１０－４の学習率）を使用して訓練された。
【0221】
結果
検証データセットのセグメントは、被験者ごとに取得された、訓練されたＣＮＮに供給され、ＣＮＮによって提供されたスコアは、割り当てられたラベルに基づいた状態の正しい検出について評価された。
検証データセットのセグメントは、被験者ごとに取得された、訓練されたＣＮＮに供給され、ＣＮＮによって提供されたスコアは、割り当てられたラベルに基づいた状態の正しい検出について評価された。
【0222】
図１５は、１９人の被験者について取得されたスコアのＡＵＣ値を示す。また提供されるのは、すべての被験者で平均して取得された平均ＡＵＣ値である。示されるように、平均して、全分類器が０．９を超えるＡＵＣに到達し、本実施形態の手順が、被験者が実行している特定のタスクとは関わりなく、被験者が集中している可能性を推定することができることを実証している。
【0223】
実施例７
意識状態の推定
発明者らは、脳の意識状態に典型的であるＥＥＧパターンが、クラスタ化によって他のＥＥＧパターンと区別できることを発見した。本実施例は、被験者の脳が意識状態にあるかどうかを検出できるクラスタ化手順を説明する。
意識状態の推定
発明者らは、脳の意識状態に典型的であるＥＥＧパターンが、クラスタ化によって他のＥＥＧパターンと区別できることを発見した。本実施例は、被験者の脳が意識状態にあるかどうかを検出できるクラスタ化手順を説明する。
【0224】
【0225】
各被験者のデータ行列は、バンドパスフィルタを適用し、瞬き及びアーティファクトを除去することによって前処理される。次に、セグメント化が、各被験者のデータ行列に適用された。本実施例では２つのタイプのセグメント化が用いられた。
【0226】
第１のタイプのセグメント化では、行列は、１秒の重複を有する２秒のウィンドウにセグメント化され、ｎ番目の被験者にｋｎのセグメントを生じさせた。
【0227】
本明細書でバースト分析と呼ばれる第２のセグメント化では、ヒルベルト変換が、チャネルのエネルギーバンド包絡線を取得するために行列の各チャネルに適用された。所定の閾値を超えるエネルギーは「バースト」と見なされ、セグメントは検出されたバーストに従って定義された。
【0228】
特徴は、次にセグメントのそれぞれ及び各チャネルから抽出された。第１のタイプのセグメント化が用いられたとき、特徴は、アルファ帯域、ベータ帯域、デルタ帯域、シータ帯域、及びガンマ帯域内のエネルギーであった。これらの特徴は、高速フーリエ変換（ＦＦＴ）を使用して抽出された。第２のタイプのセグメント化が用いられるとき、アルファ周波数帯域、ベータ周波数帯域、デルタ周波数帯域、シータ周波数帯域、及びガンマ周波数帯域のそれぞれについて、特徴は、それぞれの周波数帯域のバーストのピーク振幅、それぞれの周波数帯域の包絡線下の面積、及びそれぞれの周波数蓮帯域のバーストの持続時間であった。セグメントごとに抽出される特徴の数はＤで示されるため、各セグメントはＤ次元特徴ベクトルを割り当てられる。
【0229】
第１の教師なし最適ファジークラスタリング（ＵＯＦＣ）手順は次に、各被験者の特徴に適用されて、各被験者にＬ個のクラスタ、及び合計Ｎ・Ｌ個のクラスタ（本実施例では、Ｎは被験者の数）を提供した。クラスタ中心はランダムに初期化された。ｎ番目の被験者のためにＵＯＦＣで取得されたｉ番目のクラスタのＤ次元の中心特徴ベクトルは、Ｃｎ，ｉと示される。
【0230】
追加のＵＯＦＣ手順は、Ｄ次元の中心Ｃｎ，ｉ（ｎ＝１、．．．、Ｎ、ｉ＝１、．．．、Ｌ）に適用され、｛ＣＯＣ｝で示されるＤ次元の中心のＬ個の中心のセットを提供する。さらなるＵＯＦＣでは、セット｛ＣＯＣ｝のそれぞれの要素が、最初のＵＯＦＣ手順で使用されたランダム初期化子の代わりに、クラスタ中心のそれぞれの初期化子として使用されたことを除き、さらなるＵＯＦＣ手順は次に、被験者ごとにＬ個のクラスタ、及び合計Ｎ・Ｌ個のクラスタを再び提供するために各被験者の特徴に適用された。さらに、Ｌ個のクラスタ中心はまた、さらなるＵＯＦＣ再クラスタ化手順のための元の特徴のセットに特徴として追加することができる。
【0231】
さらなるＵＯＦＣの出力は、所与のクラスタに対するセグメントの帰属関係（０－１）を表した、被験者ごとの帰属関係行列であった。帰属関係値は、１／ｄｉ，ｊに比例すると定義され、ｄｉ，ｊは、ｊ番目のセグメント特徴のｉ番目のクラスタまでの距離である。本実施例では、距離を測定するために指数メトリック
が使用された。
【数3】
【0232】
被験者ごとに、強い疲労またはマインドワンダリングに関連付けられたタスクに対するＩ番目のクラスタの平均帰属関係が計算され、最高の平均帰属関係値を生じさせるクラスタは「疲労クラスタ」として定義された。選択されたクラスタがまた、ＣＯＣに起因する他の被験者の閉眼の特性によって影響されたことにも留意されたい。
【0233】
図１７は、アルファ帯域内のエネルギーに関連付けられたクラスタのためのセグメントのクラスタ帰属関係を示す。脳の疲労状態を示す閉眼セグメントの帰属関係は最高であり、本実施形態のクラスタ化手順が、脳が疲労状態にある間のセグメントを検出できることを実証している。
【0234】
クラスタ化手順の出力を提示するＧＵＩの代表的な例は、図１８Ａ～Ｃに示される。左上の領域１８１は、クラスタ帰属関係を時間の関数として示す。本実施例では、４つのクラスタが使用され、各クラスタは異なる色（黄、青、緑、赤）で示される。右上の領域１８４は、クラスタのそれぞれのクラスタ化中心を示す。下部領域１８６は、すべてのチャネル（本実施例では７つのチャネル）の未処理データ及び検出された特徴（本実施例では、アルファ帯域の包絡線）を示す。ＧＵＩにいくつかの対照群が提供される場合がある。ある対照群１８８は、オペレータが、周波数帯、フィルタ、及び包絡線を選択することを可能にし、別の対照群１９０は、オペレータが被験者を選択することを可能にし、別の対照群１９２は、オペレータがクラスタの数を選択することを可能にする。
【0235】
本実施例に説明されるクラスタ化手順は、上記実施例５及び実施例６を提示された１９人の被験者のデータセットに関して評価された。タスクは、人が眠そうな状況をシミュレートするために、閉眼が疲労状態を表すようにラベル付けされた。したがって、目が閉じられていた間のセグメントは「１」とラベル付けされた。人が集中していなかったとき、長い作業タスクの後の休憩中の目を開けた状態のセグメントはまた、「１」とラベル付けされた。他のタスクが実行されていた間のセグメントは「０」とラベル付けされた。
【0236】
図１９は、１９人の被験者について取得されたＡＵＣ値を示す。また提供されるのは、すべての被験者で平均して取得された平均ＡＵＣ値である。示されるように、平均して、ＡＵＣ値は０．９を超えており、本実施形態のクラスタ化手順が、被験者の脳の意識状態を推定できることを実証している。
【0237】
実施例８
マインドワンダリング
発明者らは、マインドワンダリング状態に典型的であるＥＥＧパターンが他のＥＥＧパターンと区別できることを発見した。本実施例は、被験者の脳がマインドワンダリング状態にあるかどうかを検出できる機械学習手順を説明する。
マインドワンダリング
発明者らは、マインドワンダリング状態に典型的であるＥＥＧパターンが他のＥＥＧパターンと区別できることを発見した。本実施例は、被験者の脳がマインドワンダリング状態にあるかどうかを検出できる機械学習手順を説明する。
【0238】
ＥＥＧ信号は、１０人の被験者がＳＡＲＴタスクを実行していた間に被験者から収集された（実施例５、方法を参照）。
【0239】
上記にさらに詳説されるように、ＥＥＧ信号は前処理され、次に正準ＥＥＧ帯域（アルファ、ベータ、ガンマ、及びシータ）にフィルタリングされた。各正準周波数帯域の包絡線信号が抽出された。
【0240】
（画面上に数字「３」が表示されることによってトリガされる）あらゆるノーゴー開始から、ＥＥＧ信号のセグメントが収集された。セグメントは、セグメントの終わりが開始の２００ｍｓ前となるように、持続時間４秒であった。２００ｍｓのオフセットにより、開始後のＥＥＧ信号からセグメントに漏れがないことが保証された。フィルタリングされた信号及び包絡線信号からのセグメントも同様に収集され、追加チャネルとして使用された。
【0241】
４秒のセグメントは試行と見なされ、被験者がノーゴータスクに失敗した場合、つまり開始に応答した場合（「コミッションエラー」として示される）、「１」とラベル付けされ、被験者がノーゴータスクに成功した場合、つまり開始に応答しなかった場合（「他人棄却」として示される）、「０」とラベル付けされた。試行は、複数の被験者から収集され、互いに混合されて、Ｘ＿ｔｒａｉｎ行列、及びラベルを含むＹ＿ｔｒａｉｎベクトルを形成した。
【0242】
Ｘ＿ｔｒａｉｎ行列及びＹ＿ｔｒａｉｎベクトルは、勾配降下（Ａｄａｍオプティマイザ、１０－５の学習率）を使用してニューラルネットワークを訓練するために使用された。モデルは、被験者の個人データで微調整された。この目的のために、ニューラルネットワークは、低い方の学習率を使用し、ネットワークの２つの最下層を凍結しながら、特定の被験者の試行からのみ構成された小さいデータセットで訓練された。
【0243】
５つのニューラルネットワークのアンサンブルが形成され、ニューラルネットワークは、訓練セットから被験者の異なるセットを除外することによって互いに異なる。訓練セットから除外された被験者は、評価及び早期停止のための検証セットとして使用された。特定の被験者の試行のみから作成された検証セットで０．６５を超えるＡＵＣスコアを達成するニューラルネットワークが、最終的なアンサンブルを形成した。
【0244】
予測のために、ＥＥＧ信号は、４秒のセグメント（スライドウィンドウ、０．５秒のストライド、つまり７５％の重複）にセグメント化された。各セグメントは、アンサンブルを構成するニューラルネットワークのそれぞれでフィードフォワードされ、ニューラルネットワークごとに１つずつ、スコアのアンサンブルを生成した。スコアのアンサンブルの平均は、セグメントのスコアとして定義された。スコアは、時間ｔのスコアが、時間ｔで終了する４秒のウィンドウに対応するように位置合わせされた。この手順は、その最初の７つの値がゼロである、２Ｈｚでサンプリングされたマインドワンダリングスコア信号を生成した。（８番目の指数での）第１の非ゼロ値は、時間ウィンドウｔ＝［０．．．４］秒に対応する。マインドワンダリングスコア信号は、次にガウスフィルタ（ｓｔｄ＝３、ｎ＿ｓａｍｐｌｅｓ＝１０）で平滑化され、マインドワンダリングスコア信号が所定の閾値（本実施例では０．７）を超えていた期間がマインドワンダリング期間として定義された。
【0245】
被験者番号２のマインドワンダリング信号の代表的な例が、図２０に示される。
【0246】
図２１は、１０人の被験者のそれぞれについて計算されたコミッションエラー予測のＡＵＣを示す。示されるように、平均して、ＡＵＣ値は０．８に近く、本実施形態の手順が、被験者の脳がマインドワンダリング状態にある可能性を推定できることを実証している。
【0247】
実施例９
例示的な結合出力
脳の状態の推定のための例示的な結合出力は、データ入力タスク（図２２Ａ）及び画像注釈タスク（図２２Ｂ）について、図２２Ａ及び図２２Ｂに示される。時間軸はまた、読書タスク、データ入力タスク、閉眼タスク、開眼タスク、及び画像注釈タスクを含む他のタスクを示し、これらのタスクの説明については、実施例５、方法を参照すること。図２２Ａ及び図２２Ｂのそれぞれで推定される脳の状態は、集中（上部）、タスク固有の注意（中央）、及び疲労（下部）であり、これらの状態の推定に用いられる手順の説明については、実施例５、実施例６、及び実施例７を参照すること。示されるように、集中スコアは、読書、データ入力、及び画像注釈中に高く、開眼及び閉眼の不注意タスク中に低い。タスク固有の注意は、ユーザーが関心のあるタスクに従事していた間のセグメントで高く、それ以外では低い。
例示的な結合出力
脳の状態の推定のための例示的な結合出力は、データ入力タスク（図２２Ａ）及び画像注釈タスク（図２２Ｂ）について、図２２Ａ及び図２２Ｂに示される。時間軸はまた、読書タスク、データ入力タスク、閉眼タスク、開眼タスク、及び画像注釈タスクを含む他のタスクを示し、これらのタスクの説明については、実施例５、方法を参照すること。図２２Ａ及び図２２Ｂのそれぞれで推定される脳の状態は、集中（上部）、タスク固有の注意（中央）、及び疲労（下部）であり、これらの状態の推定に用いられる手順の説明については、実施例５、実施例６、及び実施例７を参照すること。示されるように、集中スコアは、読書、データ入力、及び画像注釈中に高く、開眼及び閉眼の不注意タスク中に低い。タスク固有の注意は、ユーザーが関心のあるタスクに従事していた間のセグメントで高く、それ以外では低い。
【0248】
本発明をその特定の実施形態に関連して説明したが、多くの代替案、修正及び変形が当業者には明らかであろうことは明白である。したがって、添付の特許請求の範囲の趣旨及び広い範囲に含まれるそのようなすべての代替案、修正及び変形を包含することが意図されている。
【0249】
本明細書に記述されるすべての刊行物、特許、及び特許出願は、各個別の刊行物、特許、または特許出願が、参照により本明細書に組み込まれることが示されているときに、これが明確かつ個別に注記されているかのように、参照によりその全体が本明細書に組み込まれることが出願人（出願人ら）の意図である。さらに、本願におけるいずれかの参考文献の引用または特定は、そのような参考文献が本発明の先行技術として利用可能であるということの承認として解釈するべきではない。セクションの見出しが使用されている場合、それらは必ずしも限定的であると解釈されるべきではない。さらに、本願のいずれかの優先権書類（複数可）は、本明細書により、その全体が参照により本明細書に組み込まれる。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18A】
【図18B】
【図18C】
【図19】
【図20】
【図21】
【図22A】
【図22B】
【図23】
【図24A】
【図24B】
【図25】
【国際調査報告】