(58)【調査した分野】(Int.Cl.,DB名)
前記EEG信号を受信し、前記ユーザがある解答を決定することを意図するかどうかを判定し、前記ユーザの解答を判定し、及び前記ユーザの解答を検証する前記行為が、前記ユーザによって提供される運動または口頭フィードバックなしで行われる、請求項1に記載のコンピュータで実現される方法。
認知評価試験に対する解答を判定するためのマシン可読命令を記憶する非一時的な有形のコンピュータ可読媒体であって、前記命令が、プロセッサによって実行されるときに、前記プロセッサに、
前記認知評価試験用の多肢選択式の解答に対応する画像を表示させ、
前記認知評価試験の実施の間にユーザの脳活動に基づいて脳波計(EEG)信号を受信させ、
前記EEG信号に基づいて、前記ユーザが前記多肢選択式の解答からある解答を決定することを意図するかどうかを判定させ、
前記ユーザが前記解答を決定することを意図することが判定された後に、前記EEG信号に基づいて、前記多肢選択式の解答から前記ユーザの解答を判定させ、
前記ユーザの解答が判定された後に受信された前記EEG信号に基づいて、前記ユーザの解答を検証させる、非一時的な有形のコンピュータ可読媒体において、
前記プロセッサによって実行されるときに、前記プロセッサに、
前記ユーザの解答が一旦判定されると、前記判定された解答の前記画像を維持すると同時に残りの解答に対応する画像を非強調化することによって、前記多肢選択式の解答に対応する前記画像を修正させ、
前記ユーザが取消画像に注目するときに前記ユーザが前記判定された解答を取り消すことを可能にする選択肢を示す前記取消画像を生成させる命令を更に含み、かつ
前記ユーザの解答を検証するための前記命令が、
前記受信されたEEG信号に基づいて、前記ユーザが前記選択された解答の前記画像または前記取消画像に注目しているかどうかを判定することによって、前記ユーザの解答を検証するための命令を含む、非一時的な有形のコンピュータ可読媒体。
前記EEG信号を受信し、前記ユーザがある解答を決定することを意図するかどうかを判定し、前記ユーザの解答を判定し、及び前記ユーザの解答を検証するための前記命令が、前記ユーザによって提供される運動または口頭フィードバックなしで前記プロセッサによって実行される、請求項6に記載の非一時的な有形のコンピュータ可読媒体。
前記認知評価試験が複数の試験問題を有する標準試験であり、前記問題に対する前記解答が試験解答プロファイルを提供し、前記プロセッサによって実行されるときに、前記プロセッサに、
ユーザ解答プロファイルを提供するために、画像を表示し、EEG信号を受信し、前記ユーザがある解答を決定することを意図するかどうかを判定し、前記ユーザの解答を判定し、及び前記複数の試験問題のそれぞれについての前記ユーザの解答を検証するための前記命令の実行を繰り返させ、
前記標準試験の採点を容易にするために前記試験解答プロファイルに従って前記ユーザ解答プロファイルをフォーマットさせる命令を更に含む、請求項6または7のいずれかに記載の非一時的な有形のコンピュータ可読媒体。
【発明を実施するための形態】
【0007】
図1は、本開示の例示的な実施形態に従うブレインコンピュータインターフェース(BCI)システム100のブロック図である。BCIシステム100は、ユーザ102、脳活動を監視するシステム103、BCI104、表示部106、及び試験監理者110を含み得る。
【0008】
図1に示されるように、ユーザ102は、試験監理者110によって監督される認知評価試験に参加し得る。試験監理者は、例えば、BCI104から試験ファイルにアクセスすること、試験がユーザ102に対して実施されている間に観察結果を記録すること、試験が完了したら試験に対する解答を保存すること等によって、試験を行う手順を補助し得る。
【0009】
いくつかの実施形態では、BCIシステム100は、認知試験評価手順の一部として実現され得る。例えば、BCIシステム100は、ユーザ102の脳活動に基づいて、かつユーザ102からの運動及び/または口頭フィードバックを利用せずに、1つ以上の認知試験の実施を容易にし得る。かかる実施形態は、ユーザ102が特定の障害に起因して「閉じ込められる」とき、及びさもなければ任意の実現可能な身体的態様で容易に伝えることができないときに、特に有用であり得る。
【0010】
ユーザの脳活動は、ユーザが、表示部106上に表示される1つ以上の刺激、例えば視覚刺激など、及び/または他の種類の刺激、例えば聴覚音などに露出されることに応答して収集される活動を含み得る。表示部106によって表示されるもの以外の刺激は、簡潔さの目的のために
図1に示されていない。ある実施形態では、試験問題が、
図1に示されるように、表示部106によって表示され得、多肢選択式の各問題は、以下に更に記述される、それらと関連付けられた関連した視覚刺激を有し得る。特定の多肢選択式の解答を見ている(またはさもなければその解答に注目している、露出される、集中している、注力している等)間のユーザ102の脳活動の分析に基づいて、BCI104は、ユーザ102の脳活動をその解答と関連付けられた特定の固有の視覚刺激に相関させることによって、ユーザ102の選択を判定し得る。
【0011】
様々な実施形態では、脳活動を監視するシステム103が、1つ以上の脳波計(EEG)測定デバイスとして実現され得、任意の適切な数の電極及び/またはセンサを含み得る。かかる実施形態に従って、電極及び/またはセンサが、ユーザの頭等の任意の適切な部分に取り付けられ得る。脳活動を監視するシステム103の様々な実施形態は、侵襲及び/または非侵襲性電極センサの任意の組み合わせを含んでもよい。脳活動を監視するシステム103は、任意の適切な数及び/または種類の基準、プロトコル等に従って、任意の適切な数の電極及び/またはセンサによってユーザの脳活動を測定するように構成され得る。脳活動を監視するシステム103は、例えばリンク105経由などで、任意の適切な数及び/または種類の通信フォーマット、プロトコル、及び/または基準に従って、ユーザの脳活動を1つ以上のデータ信号としてBCI104に変換及び/または伝送するように構成され得る。
【0012】
別の実施例を提供するために、ある実施形態に従って、脳活動を監視するシステム103は、EEG帯域内、例えばデルタ帯域、シータ帯域、アルファ帯域、ベータ帯域、ガンマ帯域、及び/またはミュー帯域内などの1つ以上の事象としてユーザの脳活動を測定するように構成されてもよい。ある実施形態では、脳活動を監視するシステム103は、表示部106によってユーザに提示された1つ以上の選択肢に対する応答において、ユーザによって引き出された1つ以上の事象関連電位(ERP)成分を監視するように構成されてもよい。
【0013】
BCI104は、脳活動を監視するシステム103からデータ信号を受信し、これらの信号を分析及び/または処理し、ならびに/あるいは1つ以上のデータ信号を表示部106に伝送してフィードバックをユーザ102に提供するように構成された任意の適切なデバイスとして実現され得る。例えば、BCI104は、ユーザ機器(UE)、例えば、携帯デバイス、コンピュータ、ラップトップ、タブレット、デスクトップ、ゲーミングシステムの1つ以上の部分、電動車椅子コントローラシステムの1つ以上の部分、運動及び/または口頭能力を欠如するユーザに補助を与えるように構成された任意の適切なデバイスの1つ以上の部分、あるいは任意の他の適切な種類のコンピューティングデバイスなどとして実現されてもよい。
【0014】
単一のリンク105として
図1に示されるが、BCI104と脳活動を監視するシステム103との間の通信は、これらの通信を容易にするために、有線及び/または無線通信ネットワーク、配線、バス、無線リンク等の任意の適切な組み合わせで実現されてもよい。例えば、BCI104及び/または脳活動を監視するシステム103は、有線及び/または無線リンク、ローカルエリアネットワーク(LAN)等の任意の組み合わせを利用してもよい。
【0015】
脳活動を監視するシステム103から受信されたデータ信号の処理及び/または分析の結果として、様々な実施形態は、1つ以上の機能を実行すること、例えば、表示部106上に表示される多肢選択式の問題に対する解答を提供するというユーザ102の意図を判定すること、ユーザ102の解答選択を判定すること、及び/またはユーザ102の解答選択を検証することなどによって、認知評価試験の実施を容易にするBCI104を含み、それらは、以下に更に記述される。
【0016】
BCI104は、ユーザ102が試験を受けている間に、表示部106が、多肢選択式の問題、ユーザの解答選択、及び/または画像に対応するユーザに対する刺激をユーザ102に表示し得るように、これらの機能に基づいて、1つ以上のデータ信号を表示部106に及び/または刺激の別の外部生成器(
図1に示されない)に伝送するように構成され得る。
【0017】
BCI104は、1つ以上のデータ信号を表示部106に伝送し、表示部106に1つ以上の画像を表示させ、その画像を修正し、及び/または脳活動を監視するシステム103から受信されたユーザの脳活動の測定に応答して追加の画像を表示するように構成され得る。例えば、BCI104は、例えば、ユーザが、ユーザ102の解答選択に対応する表示された刺激に露出されている間に、脳活動を監視するシステム103から受信されるユーザの脳活動を表わすデータ信号から、ユーザ102の解答選択を判定してもよい。
【0018】
表示部106は、任意の適切な数及び/または種類の通信リンク(例えば、リンク107)経由で受信され得る、BCI104から受信された1つ以上のデータ信号に応答して情報を表示するように構成され得る。表示部106は、BCI104から分離されるように
図1に例示されているが、様々な実施形態は、BCI104の一部として一体化される表示部106、BCI104内に共に位置付けられる表示部106、またはBCI104に近接した表示部106等を含む。当業者(複数可)によって認識されるように、BCI104と表示部106との間の一体化、連結、及び/または相互に作用する機能は、これらの実現形態のどれが特定の用途に利用されるかに依存し得る。
【0019】
また、BCI104は、表示部106に、1つ以上の試験問題及び/または音声プロンプトを表示させ、これらの問題に対するユーザの応答を、脳活動を監視するシステム103から受信された信号の分析及び/または処理によって判定するように構成され得る。様々な実施形態では、BCI104が、標準または非標準試験を含み得る任意の適切な認知試験フォーマットに従って、ユーザの認知評価を容易にするように構成されてもよい。BCI104が標準認知試験の実施を容易にする実施形態に従って、BCI104は、それぞれの標準試験フォーマットに従ってユーザの解答をフォーマットするように構成されてもよい。このようにして、BCI104は、標準採点方法が、BCIシステム100を用いて行われる標準試験に使用されることを可能にする。
【0020】
様々な認知試験評価の実施形態では、BCI104は、3つのステップのプロセスの一部として脳活動を監視するシステム103経由で受信されたデータ信号を処理し、表示部106上に表示される多肢選択式の問題に対するユーザ102の解答を判定するように構成され得る。ユーザの脳活動の分析に関して、様々な実施形態は、これらの機能を容易にするために、1つ以上のアルゴリズム、命令、プログラム、アプリケーション、コード等を実行するBCI104を含み得る。例えば、BCI104は、ユーザが表示された解答のうちの1つを選択した可能性を判定するために、分類システム、例えば、神経回路網、ステップワイズ線形判別分析、サポートベクタマシン等を使用して、脳活動を監視するシステム102から受信された信号を解釈し得る。
【0021】
このプロセスにおける第1のステップとして、ユーザ102が多肢選択式の問題に解答することを意図する判定が、脳活動を監視するシステム103経由で受信されたデータ信号の分析に基づいてなされ得る。すなわち、BCI104は、ユーザ102が試験を受けることに集中していること、及び外部刺激によって気を取られないこと、ならびに/あるいは表示された画像に注目していることを確保するために、この第1のステップの一部として、ユーザ102の脳活動を分析するように構成され得る。
【0022】
換言すれば、第1のステップの間に、BCI104は、ユーザ102が表示部106上に表示される多肢選択式の問題に対する解答を決定することを意図することを判定し得る。様々な実施形態では、この第1のステップが、ユーザ102の意図を判定するために任意の適切な方法を使用して実現され得る。例えば、BCI104は、この判定を行うために1つ以上の非同期式のBCI処理方法を実現してもよい。
【0023】
別の実施例を提供するために、第1のステップの間に、BCI104は、ユーザ102からの解答を受け付ける前の所定の期間、待機してもよい。表示された画像を阻止しないまたはさもなければ邪魔しない表示部106上に示されるタイマーによって示され得るこの期間は、ユーザ102が、タイマーの期限が切れる前に解答を決定することを可能にする割り当て時間を示し得る。実施形態に従って、ユーザが解答を決定することを意図するかどうかの判定のためにタイマーを利用する。BCI104は、タイマーが開始したときにこの判定を行い得る。
【0024】
第2のステップでは、BCI104が、ユーザ102が解答を提供することを意図することが一旦決定されると、表示部106上に表示される多肢選択式の問題と関連付けられた試験解答の中からユーザ102の解答を判定し得る。様々な実施形態では、BCI104は、ユーザ102の解答を判定するための任意の適切なBCIプロセスまたは適切なBCIプロセスの組み合わせを実現するように構成されてもよい。例えば、BCI104は、定常状態視覚誘発電位プロセスに従って表示部106経由で画像を生成し得、ユーザ102の選択を判定するためにこのプロセスに従ってユーザ102の脳活動を分析し得る。
【0025】
他の実施例を提供するために、BCI104は、例えば、格子フォーマット、迅速で連続的な視覚提示などの表示部106を経由して画像刺激を表示するための多数の配列のうちのいずれかを使用するP300応答に従って、ユーザ102の脳活動を分析してもよい。
【0026】
第3のステップでは、BCI104が、第2のステップからのユーザの解答を検証し得る。様々な実施形態では、BCI104は、ユーザの解答を検証するためにユーザの選択した解答がBCI104によって判定された後、1つ以上のアルゴリズム、命令、プログラム、アプリケーション、コード等を実行することによって、ユーザの脳活動を受信及び分析し続けてもよい。例えば、様々な実施形態は、誤差電位検出を実現するBCI104を含み、それは、BCI104が、ユーザによって選択されたように解釈された解答を表示部106に表示させることと、次いで、ユーザの脳活動が誤差電位を生成したかどうかを判定することと、を結果としてもたらし得る。
【0027】
別の実施例を提供するために、BCI104は、第2のステップにおいてユーザ102が、BCI104によって判定された選択された解答を確認するまたは取り消すことを可能にする1つ以上の画像を表示部106に表示させ得、それは、表示部106によってユーザ102に表示される。別の実施例を提供するために、BCI104は、表示部106に第2のステップを繰り返させ、一致を検証するために両方の選択の結果を比較させてもよい。
【0028】
更なる別の実施例を提供するために、BCI104は、2つの異なる状態に関して保持−解除アルゴリズムを実行するように構成されてもよい。これらの状態のうちの第1の状態は、ユーザ102が最初の解答選択を保持することを表わし得、それは、第2のステップ後に表示部106経由でユーザ102に表示される。これらの状態のうちの第2の状態は、ユーザ102が、第2のステップ後に表示された選択を取り消すために彼の選択を表示部102経由で表示される別の刺激に変更することを表わし得る。
【0029】
すなわち、実施形態は、表示部106にステップ2から選択された解答及びこの解答選択を取り消すユーザの意図を示す画像を表示させるように構成されたBCI104を含む。BCI104は、保持状態として表示された解答と関連付けられた刺激へのユーザの集中の維持、及び解除状態として取消画像と関連付けられた刺激へのユーザの集中の移行に関連する保持−解除アルゴリズムを実行するように構成され得る。保持−解除プロセスの詳細は、
図5を参照して以下に更に記述される。
【0030】
このようにして、BCIシステム100は、ユーザからの運動及び/または口頭フィードバックの必要性なしにユーザの脳活動の監視によって、標準及び非標準試験の実施を容易にし得る。加えて、BCIシステム100は、典型的には間接的なBCI試験手順を悩ます正確性及び標準化に関する問題のうちの多くに対処する。伝統的なBCI試験方法は、典型的には、間接的な方法を使用して、例えば画面のあちこちでカーソルを動かすことなどによって、試験解答を選択するためのユーザの脳活動の分析に頼る。間接的な試験方法はまた、試験の間に苛立つユーザに関連するものを含む、正確性及び試験結果の歪みと関連付けられた問題を有し、それは、誤差を複合し得、ユーザの認知能力の不正確な評価を結果としてもたらし得る。
【0031】
これらの間接的なアプローチとは対照的に、BCIシステム100の実施形態は、ユーザ102が、直接的な手法で解答を選択することを可能にする。これは、間接的な方法と比べてより正確な結果をもたらし、さらに、一般に間接試験方法に要求される標準試験が再びフォーマットされることを要求しないという更なる利益をもたらす。換言すれば、ユーザ102による直接的な選択は、標準試験が設計されたもの、すなわち、多肢選択式の解答の直接選択のためのプロトコルにより良く準拠する。皆に(かつ、運動及び/または口頭能力を欠如するユーザのみではなく)与えられるように設計された類似の手法で試験を提示することによって、BCIシステム100は、さもなければBCI試験が実施される態様を単に通して導入される試験データの歪みを除去するのに役立つ。
【0032】
他の実施形態では、BCIシステム100が、有効な運動及び/または口頭能力を欠如するユーザに補助を与えるように構成された制御システムの一部として実現され得る。例えば、BCI104は、脳活動を監視するシステム103経由で受信された信号を更にまたは代わりに使用し、電動車椅子111に制御コマンドを提供するように構成されてもよい。かかる実施形態に従って、BCI104は、例えばリンク112経由などで、任意の適切な数及び/または種類の通信フォーマット、プロトコル、ならびに/あるいは基準に従って、制御コマンドを1つ以上のデータ信号として電動車椅子111に伝送するように構成されてもよい。表示部106及び/またはBCI104は、これらの機能を容易にするために、電動車椅子111の一部として一体化されてもよいし、電動車椅子111上に取り付けられてもよいし、またはさもなければ電動車椅子111と関連付けられてもよい。
【0033】
更に他の実施形態では、BCIシステム100が、有効な運動及び/または口頭能力を欠如するユーザによって遊ぶことが可能なゲーミングシステムの一部として実現されてもよい。例えば、BCI104は、脳活動を監視するシステム103経由で受信された信号を更にまたは代わりに使用し、ゲーミングアプリケーションの一部として表示部106経由でユーザ102に表示されたフィードバックを修正するように構成されてもよい。かかる実施形態に従って、BCI104が、例えばリンク107経由などで、任意の適切な数及び/または種類の通信フォーマット、プロトコル、ならびに/あるいは基準に従って、1つ以上のデータ信号を表示部106に伝送するように構成されてもよい。
【0034】
例えば、BCI104は、この目的のために保持−解除アルゴリズムを実現するように構成され得、保持状態及び解除状態は、任意の適切な種類及び/または数の身体的動作、コマンド等、例えば、電動車椅子111の制御に使用されるもの、ゲーミングアプリケーションのために使用されるもの等と関連付けられる。前述されたような試験問題に対するユーザ102の解答の判定に類似して、BCI104は、ユーザが様々な制御に対応する表示部106上に表示される異なる刺激に集中する際に、ユーザ102の脳活動を分析し得る。ユーザ102の選択した機能に基づいて、BCI104は、ユーザ102が選択さしたコマンドを保持することまたは別のコマンドを表わす解除状態への移行を望むかどうかを判定し得る。これらの実施形態は、ユーザが、かかる態様で表わされ得る制御プロセスの変更をもたらすように2つの異なる種類の状態を使用することを望む状況において特に有用であり得る。
【0035】
例示的な実施例を提供するために、様々な実施形態は、ユーザ102が(例えば、アイコンのフラッシュを計数することによって)集中する特定の刺激を表示する表示部106を含む。BCI104が、ユーザ102が特定の刺激に集中していることを判定するとき、BCI104は、例えば電動車椅子制御の起動などの、保持状態としてユーザの特定の刺激への集中を解釈し得る。電動制御は、例えば、電動車椅子111を前方、後方へ駆動すること、電動車椅子111を方向転換すること等の動作と関連付けられ得る。この実施例を続けると、BCI104が、刺激に対する注目を通してなされたユーザ102の最初の選択を検出するとき、BCI104は、電動車椅子111に対して、前方へ駆動するためのコマンドであって、次いで、ユーザ102がそのコマンドと関連付けられた刺激に集中し続ける限り保持状態としてその動作を維持するコマンドを発行させ得る。
【0036】
この実施例を更に続けると、BCI104が、ユーザ102が彼の集中を別の刺激(例えば、別のアイコンのフラッシュの計数)に切り換えたことを検出するとき、BCI104は、これを電動車椅子制御の非起動化または取消として解釈し得、それは、解除状態を表わす。すなわち、解除状態は、保持状態と関連付けられた動作の停止と関連付けられ得る。例えば、保持状態が電動車椅子111を前方へ動かすことと関連付けられる場合には、解除状態の検出が、BCI104に電動車椅子111を停止するコマンドを発行させ得る。
【0037】
BCI104が保持−解除状態アルゴリズムを実行する様々な実施形態では、アルゴリズムが、任意の適切な種類及び/または数の制御状態に適用され得る。追加の実施形態は、音量増大(または減少)を保持状態と関連付けること、かつ保持状態の停止を解除状態と関連付けることによる音量の制御を含み得る。このようにして、BCI104は、ユーザの脳活動の分析によって状態変更を活用する任意の種類の制御を働かせる機能をユーザに提供し得る。
【0038】
図2は、本開示の例示的な実施形態に従ってBCIデバイス200を例示する。BCIデバイス200は、中央処理装置202、グラフィクス処理ユニット(GPU)204、通信ユニット206、及びメモリ208を含む。BCIデバイス200は、ユーザの脳活動を表わすデータ信号の受信、監視、分析、及び/または処理に適した任意のコンピューティングデバイスとして実現され得る。ある実施形態では、BCIデバイス200が、
図1に示されるようなBCI104の実現形態である。
【0039】
ある実施形態では、通信ユニット206が、例えば、
図1に示されるように、脳活動を監視するシステム103からなどの脳活動を監視するシステムからのデータの受信を可能にするように構成され得る。様々な実施形態では、通信ユニット206が、脳活動を監視するシステムから受信されたデータのCPU202及び/またはメモリ208への伝送を容易にするように構成され得る。例えば、脳活動を監視するシステムから通信ユニット206から受信されたデータは、CPU202による後続処理のためにメモリ208内の任意の適切な場所に記憶されてもよい。
【0040】
代わりにまたは更に、通信ユニット206の様々な実施形態が、状態変更を容易にするために、1つ以上のコマンド、信号、データ等を1つ以上の制御構成要素に送信する通信ユニット206を含む。制御構成要素の実施例は、運動及び/または口頭能力に障害のあるユーザを補助するのに利用され得る運動コントローラ、音量コントローラ、または任意の適切な種類のコントローラの構成要素を含み得る。これらの制御構成要素は、簡潔さの目的のために
図2に示されていない。
【0041】
当業者(複数可)によって認識されるように、通信ユニット206は、これらの機能を使用可能にするために、適切なハードウェア及び/またはソフトウェアの任意の組み合わせを用いて実現されてもよい。例えば、通信ユニット206は、任意の数の有線及び/または無線送受信機、ネットワークインターフェース、物理層(PHY)等を用いて実現されてもよい。
【0042】
様々な実施形態では、CPU202及び/またはGPU204が、メモリ208と通信し、データを記憶し、メモリ208からデータを読み取るように構成され得る。例えば、CPU202及び/またはGPU204は、任意の適切な数及び/または種類のプロセッサとして実現されてもよい。様々な実施形態では、CPU202が、脳活動を監視するシステムから受信された脳活動データ信号を処理するように構成され得、一方で、GPU204は、データ信号及び/またはコマンドを、例えば、
図1に示されるような表示部106などの表示デバイスに送信し、その表示部に1つ以上の画像を表示させるように構成され得る。ある実施形態では、GPU204が表示させる画像は、認知評価試験、例えば
図1を参照して前述されたものなどを実施するために使用される。
【0043】
様々な実施形態によれば、メモリ208は、揮発性(例えば、ランダムアクセスメモリ(RAM)、もしくは不揮発性メモリ(例えば、バッテリバックアップ式RAM、フラッシュ(FLASH)等)の任意の組み合わせを含み得るコンピュータ可読型の非一時的な記憶デバイスである。様々な実施形態では、メモリ208が、CPU208及び/またはGPU204上で実行可能な命令を記憶するように構成され得る。これらの命令は、CPU202及び/またはGPU204によって実行されるときに、CPU202及び/またはGPU204に様々な動作を行わせるマシン可読命令を含み得る。
【0044】
様々な実施形態では、データ読み取り/書き込みモジュール210、保持−解除モジュール212、及びBCI処理及び試験モジュール214が、CPU202及び/またはGPU204によって実行可能な命令を記憶するように構成されたメモリ208の部分である。様々な実施形態では、データ読み取り/書き込みモジュール210が、CPU202及び/またはGPU204によって実行されるときに、CPU202及び/またはGPU204に、メモリ208からデータを読み取らせる及び/またはメモリ208にデータを書き込ませる命令を含み得る。様々な実施形態では、データ読み取り/書き込みモジュール210が、CPU202及び/またはGPU204によって実行されるときに、CPU202及び/またはGPU204に、通信ユニット206経由で脳活動を監視するシステムからのデータを受信させる命令を含み得る。ある実施形態では、データ読み取り/書き込みモジュール210が、CPU202及び/またはGPU204が、保持−解除モジュール212ならびに/あるいはBCI処理及び試験モジュール214内に記憶された1つ以上の1つ以上のアルゴリズム、命令、プログラム、アプリケーション、コード等にアクセスする、それらを読み取る、及び/または実行することを可能にし得る。
【0045】
様々な実施形態では、BCI処理及び試験モジュール214が、枠組みプロセス全体の一部としてCPU202及び/またはGPU204によって実行される1つ以上のアルゴリズム、命令、プログラム、アプリケーション、コード等を記憶するように構成され得る。いくつかの実施形態では、この枠組みプロセスが、特定の種類のBCIに従うデータ処理命令を含む。例えば、試験がBCIフォーマットでユーザに対して実施されるとき、そのユーザについての脳活動データ信号が、1つ以上の種類のBCIプロトコルに従って処理及び分析され得る。様々な実施形態では、BCI処理及び試験モジュール214が、このフォーマッティングに関する、ならびにユーザが様々な刺激に露出される際にユーザの意図、選択、及び/または決定を解釈するために1つ以上のフォーマットに従って脳活動を監視するシステムから受信された信号をどのように処理するかに関する命令を記憶するように構成され得る。
【0046】
例えば、
図1を参照して前述されたように、様々な実施形態は、ユーザの選択した解答が正確であることを確保するために各試験問題について3つのステッププロセスを実行するBCIデバイス200を含む。これらのステップのそれぞれの間に、BCIデバイス200は、GPU204経由で、ユーザに対して画像を表示させ得、かつ通信ユニット206経由で、ユーザがこれらの画像と関連付けられた刺激を見ていることに応答して脳活動を監視するシステムからデータ信号を受信させ得る。
【0047】
ある実施形態では、BCI処理及び試験モジュール214が、表示部206に送信された種類の刺激及び/または画像、ならびにどのようにCPU202が、ユーザがこれらの刺激及び/または画像を見ていることに応答して脳活動を監視するシステムから受信された信号を処理するかを含む命令を記憶するように構成され得る。例えば、ユーザの意図が、非同期BCIプロセスによって3つのステッププロセスのうちのステップ1において判定された場合には、BCI処理及び試験モジュール214が、その非同期BCIプロセスに従って受信された脳活動信号を処理するためにCPU202によって読み取られた命令を記憶するように構成されてもよい。
【0048】
別の実施例を提供するために、実施形態は、試験プロセスにおいてユーザの解答選択を判定する第2のステップを含む。いくつかの種類の脳活動プロセスが、この判定を容易にするために実現され得る。例えば、定常状態視覚誘発電位(SSVEP)が実現される場合、GPU204は、試験解答を表わす画像を表示部(例えば、表示部106)に送信してもよい。ユーザの脳活動を示すデータ信号から受信されたフィードバックに基づいて、BCI処理及び試験モジュール214は、ユーザが解答として意図する表示された画像を特定するために及び/またはユーザの選択した解答を示すために表示された画像を修正するために、SSVEPプロセスに従ってこのフィードバックをどのように処理するかに関する命令を含み得る。
【0049】
なおその上に、様々な実施形態では、BCI処理及び試験モジュール214が、試験問題、解答集、ユーザ解答、及び/または試験問題自体を表わす画像を含む命令を記憶するように構成されてもよい。様々な実施形態では、BCI処理及び試験モジュール214が、オペレータによって、例えば、試験を実施する医療従事者などによって選択されるときに実施され得る任意の適切な数の試験を記憶してもよい。様々な実施形態では、オペレータ(例えば、医療従事職員)が、新しい試験をアップロードすること及び/または試験解答をダウンロードすることによって、BCI処理及び試験モジュール214の内容を変えてもよい。
【0050】
ある実施形態では、BCI処理及び試験モジュール214が、CPU202が試験解答プロファイルとして任意の適切な数の試験問題についてのユーザの選択した解答を記憶すること可能にする命令を記憶するように構成され得る。ある実施形態では、試験プロファイルが、3つのステッププロセスが各試験問題に適用された後に、CPU202によって生成され得る。例えば、試験解答プロファイルは、各試験問題についての多肢選択式の解答のリストなどの基準試験集採点システムに準拠する解答プロファイルであり得る。このようにして、標準試験がBCIデバイス200経由で一旦実施されると、その試験に対する解答が、基準試験解答集に従って採点され得、さもなければBCI試験手順との互換性のために試験を適合するときに導入され得る採点誤差を大幅に削減する。
【0051】
様々な実施形態では、保持−解除モジュール212が、保持−解除機能を容易にするためにCPU202及び/またはGPU204によって実行される1つ以上のアルゴリズム、命令、プログラム、アプリケーション、コード等を記憶するように構成され得、それは、
図3A〜Bを参照にして以下に更に記述される。例えば、保持−解除モジュール212は、任意の適切な言語及び/またはフォーマットで実行可能なコードを含んでもよい。いくつかの実施形態では、保持−解除モジュール212が、
図1に関して前述されたように、認知試験評価の実施のために1つ以上の問題の間に適用される3つのステッププロセスにおける第3のステップに関連して実行される命令を含むように構成され得る。
【0052】
他の実施形態では、保持−解除モジュール212が、保持及び解除制御状態変更に関連して実行される命令を含むように構成され得、試験プロセスに代えてまたは加えて使用され得る。また、状態変更を特定及び/または制御するための保持及び解除プロセスの実現に関する更なる詳細が、
図3A〜Bに関して以下に記述される。
【0053】
図2は、通信ユニット206、CPU202、GPU204、及びメモリ208を別個の要素として例示するが、BCIデバイス200の様々な実施形態は、互いに組み合わされる、一体化される、及び/または別個である通信ユニット206、CPU202、GPU204、ならびにメモリ208の任意の部分を含む。例えば、通信ユニット206、CPU202、GPU204、及びメモリ208のいずれかは、単一のデバイス、システムオンチップ(SoC)、特定用途向け集積回路(ASIC)等として一体化され得る。
【0054】
なおその上に、データ読み取り/書き込みモジュール210、保持−解除モジュール212、ならびにBCI処理及び試験モジュール214は、メモリ208の別個の部分として例示されるが、様々な実施形態は、メモリ208の任意の適切な部分内、CPU202及び/またはGPU204の一部として実現されるメモリ内に記憶される、ならびに/あるいは2つ以上のメモリにわたって広がるこれらのメモリモジュールを含む。例えば、データ読み取り/書き込みモジュール208は、メモリ208の一部として記憶され得る一方で、保持−解除モジュール212ならびにBCI処理及び試験モジュール214は、CPU202の一部として一体化されたメモリ内に記憶される。当業者(複数可)によって認識されるように、異なるメモリモジュールが、処理速度を上げ、データ処理ボトルネック等に起因する待ち時間及び/または遅延を減らすなどのために、CPU202の一部として一体化されてもよい。簡潔さの目的のために、単一のメモリ208のみが
図2に例示される。
【0055】
図2では単一のBCIデバイスとして例示されるが、様々な実施形態では、BCIデバイス200が、1つ以上のBCIデバイスの任意の数またはグループからなってもよい。かかる実施形態に従って、各BCIデバイスは、1つ以上のCPUを含み得、他のBCIデバイスとは独立して動作するように構成され得る。グループとして動作するBCIデバイスは、脳活動を監視するシステムから受信された信号を個別に(例えば、それらの可用性に基づいて)処理及び/または同時に処理(例えば、並列処理)し得る。
【0056】
図3Aは、本開示の例示的な実施形態に従って、ユーザが解答選択を行う前の試験問題画像300の実施例を例示する。試験問題画像300は、4つの多肢選択式の解答選択302、304、306、及び308を含む。4つの多肢選択式の解答選択302、304、306、及び308のそれぞれはまた、関連付けられた標識310A〜Dをそれぞれ有する。
図3Aは、番号1〜4として標識310A〜Dをそれぞれ例示するが、任意の適切な種類の識別名、例えば文字などが、標識310A〜Dとして使用されてもよい。
【0057】
図3Aに示されるように、標識310A〜Dのそれぞれは、それぞれの境界パターン311A〜Dによって取り囲まれ、それは、例えば、黒と白の市松模様パターンを含み得る。様々な実施形態に従って、各境界パターンを構成する黒と白の市松模様パターンは、対応する周波数で黒と白のパターンを「明滅」に交替する。いくつかのBCI方法は、典型的には、これらの種類の視覚刺激に露出されるときのユーザの決定を判定するために使用される。
【0058】
例えば、1種類のBCI方法、SSVEPを使用して、境界パターン311A〜Dのそれぞれは、互いとは異なる周波数で明滅し得、これらの周波数は、明滅が、ユーザが画像を見ていることによって故意に計数されないように十分に高い可能性がある。それにもかかわらず、明滅周波数は、例えば、ユーザが選択した解答画像ならびにそれの関連付けられた境界パターン及び標識を見ている間に、BCI、例えばBCIデバイス200などで受信されるユーザの脳活動データ信号の分析によって特定されることができる。
【0059】
図3Aは、黒と白の市松模様パターンを有するように境界パターン311A〜Dのそれぞれを例示するが、任意の適切なパターンの種類が、境界パターン311A〜Dのために使用されてもよい。例えば、境界パターン311A〜Dは、適切なSSVEP刺激を提供するために使用され得る任意の適切な種類の色、パターン、デザイン等を有するように実現されてもよい。例えば、境界パターン311A〜Dは、特定の周波数で明滅する同じ色の単一色を含んでもよい。
【0060】
別の種類のBCI方法、P300、または事象関連電位(ERP)BCIでは、標識310A〜Dのそれぞれが、より遅い速度でフラッシュし得、それは、ユーザによって計数され得、BCI、例えばBCIデバイス200などで受信されたユーザの脳活動データ信号の分析は、各フラッシュが発生した約300ミリ秒後にユーザの脳活動データ信号の正の変化を示し得る。タイミングが個々のユーザについて指定され得るこの正の変化の特定は、ユーザが各標識310A〜Dのそれぞれに対応して選ぶことを意図する解答選択の特定を可能にする。それに加えてまたは代えて、様々な実施形態が、例えば画像自体などの画像302、304、306、及び308の任意の適切な部分のフラッシュを含む。
【0061】
図3Aは、いくつかの標識310A〜D及びそれらの対応する境界パターンを例示するが、実施形態は、SSVEP周波数に従って明滅するまたはP300フラッシュパターンに従ってフラッシュする画像302、304、306、及び308を含む。かかる実施形態に従って、標識310A〜D(及び境界パターン311A〜D)は省略されてもよく、ユーザ102は、例えば、各試験解答位置が試験の継続期間に解答A〜Dのうちの1つに対応することを指示され得る。
【0062】
様々な実施形態では、境界パターン311A〜Dのそれぞれが、SSVEP周波数に従って明滅してもよいし、標識310A〜Dのそれぞれが、P300フラッシュパターンに従ってフラッシュしてもよいし、画像302、304、306、及び308のそれぞれが、SSVEP周波数に従って明滅またはP300フラッシュパターンに従ってフラッシュしてもよいし、あるいは境界パターン311A〜D、標識310A〜D、ならびに/あるいは画像302、304、306、及び308のそれぞれの間で起こり得る明滅及び/またはフラッシュの任意の組み合わせが、同時に発生してもよい。
【0063】
例えば、ある実施形態では、境界パターン311A〜Dは、所望の解答選択で明滅周波数を評価するようにBCIデバイス200がユーザの脳活動データ信号を処理することを可能にするSSVEP周波数で明滅してもよく、一方で、標識310A〜Dは、P300フラッシュパターンに従って同時にフラッシュし、更に、P300BCIプロセスに従って所望された選択を行うためにユーザの認識応答を登録してもよい。
【0064】
BCIデバイス200の様々な実施形態は、任意の適切な試験の実施のために実現され得る。しかしながら、
図3A〜Bに示される画像300の実施例は、1つ以上の画像、例えば、PEABODY PICTURE VOCABULARY TEST−4
TH EDITION(PPTV−IV)において使用されるものなどに対応し得る。PPTV−IV試験は、単語の口頭発音を含み、ユーザが、その単語に最も酷似する画像を選択することを可能にする。説明の目的のために、「鳥」が、画像308の実施例によって表わされた試験問題に対する正確な解答であると仮定する。
【0065】
試験が様々な実施形態に従って行われるとき、ユーザは、この解答を選択するために画像308と関連付けられた標識310D及びそれの対応する境界パターン311Dに集中することになる。ある実施形態では、3つのステッププロセスが、ユーザの選択した解答を判定するために適用されてもよい。
【0066】
前述したように、3つのステッププロセスにおける第1のステップは、ユーザが、表示された解答に注目しているまたは試験問題に解答することを意図するかどうかを確認することである。かかる実施形態に従って、
図3Aは、かかる3つのステッププロセスの第1及び第2のステップの間にユーザに対して表示され得るものの実施例である。例えば、ユーザがある解答を決定する準備ができていることを検証するためにタイマーが使用される場合、試験が始まったこと及びユーザがある解答を選択するための残りの時間を示すタイマー313が表示され得る。別の実施例を提供するために、音または他の通知が、タイマーが開始されたことを示すために使用されてもよく、それは、ユーザが決定を行う準備をしている間にユーザに見えてもよいしまたは見えなくてもよい。
【0067】
ある実施形態では、第2のステップが、タイマー313が一旦開始されると(または、非同期BCIプロセスが、例えば、さもなければユーザが解答を意図することを示すまで、閾値時間が、タイマー上に残されるまで等)始まり得る。すなわち、各解答選択の境界パターン311及び/または標識310のそれぞれは、タイマー313が開始する前に明滅していてもよいが、BCIデバイス200は、ユーザが、ユーザの脳活動データ信号の処理前に実際に解答を意図するという判定まで待ってもよい。ユーザの脳活動データ信号の監視に基づいて、BCIデバイス200は、次いで、ユーザの選択した解答、例えば画像308と関連付けられた解答などを判定し得る。BCIデバイス200が、ユーザが画像308と関連付けられた解答を選択したことを一旦判定すると、画像が、
図3Bに示される画像に修正され、それは、以下に更に記述される。このようにして、ユーザがある解答を選択することを意図することが判定されるまで待つことによって、BCIデバイス200の実施形態は、第2のステップの間に判定された解答が正しいことを確保するのに役立つ。
【0068】
図3Bは、本開示の例示的な実施形態に従って、BCIデバイス200がユーザの解答選択を判定した後にユーザの解答を検証するために使用される試験問題画像320の実施例を例示する。ある実施形態では、画像320が、
図3Bに示されるように、3つのステップの解答選択プロセスにおける第3のステップに従ってユーザに示される。すなわち、ユーザが
図3Aから解答画像308を選択したという判定がBCIデバイス200によって一旦なされると、
図3Bにおいて解答画像308が維持されると同時に残りの画像302、304、及び306が非強調化される。様々な実施形態では、この非強調化が、任意の適切な方法、例えば、選択されない解答画像と関連付けられた色を退色すること、弱めること、除去すること、薄めること、調整すること等によって実現され得る。
【0069】
他の解答画像の非強調化に加えて、実施形態はまた、取消画像の提示を含み、その実施例は、取消画像312として
図3Bに示される。使用された特定のBCI方法(例えば、P300、SSVEP、またはその両方)に基づいて、取消画像312はまた、境界パターン314を含み得る。標識310A〜310D及び境界パターン311A〜Dに類似して、取消画像312及び/または境界パターン314が、特定のSSVEP周波数で明滅し得、及び/またはP300フラッシュパターン(例えば、不正なP300ERPに対するP300フラッシュ連続物の一部である一連の刺激として)に従ってフラッシュし得る。例えば、取消画像312は、特定のP300フラッシュパターンに従ってフラッシュし得、境界パターン314は、特定のSSVEP周波数で明滅し得、あるいはその両方でもよい。
【0070】
境界パターン311A〜Dに類似して、様々な実施形態は、任意の適切な種類の色、パターン、デザイン等として実現される境界パターン314を含み、それは、適切なSSVEP刺激を提供するために使用され得る。ユーザが
図3Bに示されるような画像を一旦提示されると、ユーザは2つの選択肢を有する。ユーザが、画像308に対応する選択した解答を保つことを意図する場合、ユーザは、画像308への彼女の集中を維持することができる。しかしながら、ユーザが、間違った選択として画像308を偶発的に選んだ場合(または、BCIデバイス200がユーザの選択を誤解した場合)には、ユーザは、この選択を取り消すために彼女の注力を画像312に切り換え得る。様々な実施形態に従って、BCIデバイス200は、ユーザが、選択した解答画像308を保持することを意図するかどうかを検出するまたは取消画像312に集中することによって保持状態から変更(すなわち、解除)するように構成され得る。
【0071】
ある実施形態では、BCIデバイス200が、保持状態が検出された場合、すなわち、BCIデバイス200が、ユーザが画像308に集中し続けることを検出した場合、次の試験問題に対応する任意の適切な数(例えば、
図3A〜3Bにあるように4つ)の画像を提示するように構成されてもよい。更に、かかる実施形態に従って、BCIデバイス200は、解除状態が検出された場合、すなわち、BCIデバイス200が、ユーザが彼の集中を画像308から取消画像312に切り換えたことを検出した場合、
図3Aに示される画像で
図3Bを置き換えるように構成されてもよい。
【0072】
ある実施形態では、このプロセスは、解答が試験の全ての問題について得られるまで、各試験問題について任意の適切な回数だけ繰り返されてもよい。試験解答が一旦収集されると、BCIデバイス200は、試験解答集に従って採点され得るユーザについての対応する解答プロファイルを構築及び/またはフォーマットし得る。例えば、各解答画像が対応する番号を有するので、試験解答が、番号によって解答画像を特定することによって収集されてもよい。前の実施例の場合、解答画像308のユーザの選択が一旦検証されると、解答番号「4」が、その試験問題について記録され得る。
【0073】
様々な実施形態では、保持−解除状態遷移の検出が、3つのステップの解答選択プロセスの第3のステップの一部として多数のサブステップで実現され得る。ある実施形態では、訓練データが、試験を行う前に特定のユーザ(またはBCIデバイス200が実現される他のシステム)について収集されてもよい。例えば、ユーザの特定の選択に関してBCIデバイス200によってなされた判定は、ユーザの脳活動データ信号に基づくが、典型的には、完全に確実ではなく、むしろ、決定は、典型的には、数学的分析に即して行われる。
【0074】
換言すれば、各ユーザの脳活動は固有であり、測定が困難であるので、実施形態は、決定と最も大きく相関すると考えられる脳活動データ信号の部分の重要度に重みを付けることによってユーザの選択を判定するBCIデバイス200を含む。例えば、脳活動データ信号の個々の部分についての重み付けは、ユーザが既知の刺激の特定の組に露出されることに応答して収集された脳信号活動の分類に基づいて、判定されてもよい。これらのユーザは、例えば、訓練プロセスを通して、既知の刺激に露出されてもよい。重み付けは、分類プロセスによって計算され得、誘発電位、例えばP300ERP等の存在または欠如に対して、SSVEPについての各種類の刺激に対応する分類子値の範囲を結果としてもたらす。
【0075】
例えば、選択分類子訓練プロセスは、試験が実施される前に特定のユーザのために実現され得る。選択分類子訓練は、ユーザが、様々な周波数で明滅するいくつかの異なる刺激(例えば、境界部分311A〜D)を見ていること及び/または注力していることに対応し得る。この訓練データに基づいて、分類子値の異なる範囲が、ユーザが異なる刺激に露出される間にユーザの脳活動に基づいてBCIデバイス200によって計算され得る。
【0076】
選択分類子訓練プロセスが一旦完了すると、BCIデバイス200は、同じ刺激への後続の露出の間にユーザの脳活動データ信号に基づいて新しい(すなわち、後の訓練)分類子値を計算し得る。これらの新しい分類子値は、どの後続刺激にユーザが露出されているか(例えば、どの画像にユーザが集中しているか)を特定するために、互いに対して及び/または1つ以上の閾値に対して、選択分類子訓練プロセスの間に計算された分類子値の異なる範囲と比較され得、それは、以下に更に記述される。様々な刺激は、1つ以上の解答選択、動作等に対応し得る。ユーザの脳活動データ及び更新された分類子値の分析を通して、実施形態は、選択された解答を保持するまたはその解答を解除する(すなわち、それを取り消す)ことのいずれかのユーザの決定を判定するBCIデバイス200を含む。
【0077】
様々な実施形態では、任意の適切な数の規則が、ユーザの決定が正確に判定されることを確保するために構築され得る。例えば、訓練データが収集された後、BCIデバイス200は、選択がなされた後にユーザが特定の刺激に集中する間にユーザの脳活動を監視(すなわち、ユーザのEEGデータ信号を受信及び処理)し続けてもよい。これは、例えば、ユーザが、解答画像308の標識311B及び境界部分310Bによって提供された刺激に集中し続けること、または、
図3Bに示されるように、彼の集中を取消画像312と関連付けられた境界部分314に切り換えることを含み得る。ある実施形態では、BCIデバイス200は、(1)ユーザが選択を行った後にユーザの脳活動の監視の間に計算された分類子値と、(2)この開示全体を通して「訓練分類子値」として呼ばれ得る、試験の前に判定された保持−解除分類子値の範囲の比較に基づいて、別の後続の分類子、保持−解除分類子を生成するように構成され得る。
【0078】
例示的な実施例を提供するために、BCIデバイス200は、ユーザが対象刺激を見ていることと関連付けられた訓練分類子値と、ユーザが関連のない刺激を見ていることと関連する分類子値を分離する2つの閾値分類子値を最初に計算し得る。この実施例を続けると、選択分類子訓練プロセスの間に、ユーザは、1組の画像(対象刺激)から1つの画像(例えば、308)を正確な解答として考えることを指示されてもよい。ユーザはまた、取消画像314(取消刺激)に集中することを指示されてもよい。この画像の各標識310Bのフラッシュ及び/またはその境界部分311Bの明滅が、対象刺激として考えられる一方で、取消画像312のフラッシュ及び/または境界314の明滅が、取消刺激として考えられる。
【0079】
訓練プロセスの間に、対象刺激及び取消刺激に応答してユーザの脳活動は、例えば最小2乗回帰分析などの任意の適切な分類方法に従って、分類子についての重み付けを計算するために使用され得る。個々の脳活動データ信号に対するこれらの重み付けの適用は、分類子値を生成することになる。選択分類子訓練プロセスの結果として、分類子値の1つの範囲が、対象刺激と関連付けられるように特定される一方で、分類子値の別の範囲は、関連しない刺激と関連付けられる。
【0080】
ある実施形態では、これらの範囲の境界における閾値は、(例えば、対象刺激または取消刺激のいずれかに対する後続の露出からの)新しい分類子値が、対象刺激に対する、取消刺激に対するユーザの露出の結果である、または未知としてとどまると考えられるべきであるかどうかの指示として使用され得る。様々な実施形態では、未知の応答の判定が、新しい分類子値が、対象刺激または取消刺激に対するユーザの露出に応答すると考えられるべきであるかどうかを判定するために、以下に更に記述されるように、追加の規則を用いて更に分析されてもよい。
【0081】
この例示的な規則を更に詳しく述べると、BCI200は、後に計算される分類子値と対象分類子値の対応する範囲の比較に基づいて、刺激に露出される間にユーザの脳活動データ信号を使用して計算された分類子値から、様々な刺激を特定し得る。
【0082】
なおその上に、ある実施形態に従って、BCIデバイス200は、ユーザによる対象刺激選択を特定するために最大分類子値を使用してもよい。しかしながら、
図3Bを参照する保持−解除決定は、2つの可能な選択肢にのみ関するので、画像308及び取消画像312と関連付けられた刺激に解答するという脳活動応答についての分類子値範囲のみが要求される。すなわち、選択分類子訓練プロセスが、ユーザによる対象刺激選択についてC1〜C10として指定された値に対応する分類子値の範囲、及びユーザによる取消刺激選択についてC20〜C30として指定された分類子値範囲の計算を結果としてもたらした場合、規則は、範囲(C1〜C10)及び(C20〜C30)を分離するために1つ以上の閾値分類子値を設定し得る。
【0083】
この規則を使用して、
図3Bにおける選択された解答画像308を保持するというユーザの意図は、1つ以上の閾値を上回るまたは下回る分類子値が、ユーザが対象刺激に集中し続けることまたは取消刺激に切り換えることのいずれかと関連付けられるように、ユーザの脳活動データ信号の分類が、閾値分類子値(例えば、C15)に等しいまたはそれよりも大きな分類子値を結果としてもたらすときに、BCIデバイス200によって判定され得る。様々な実施形態では、任意の適切な閾値分類子値、例えば、C1〜C10の下端における閾値分類子、C20〜C30の上端における分類子閾値、ゼロ等が、利用されてもよい。
【0084】
規則の別の実施例は、第3のステップの間のユーザの脳活動データ信号から計算された分類子値を所定の分類子値と比較することを含み得る。例えば、第3のステップの間に画像308と関連付けられた分類子値が負の値である場合(ゼロが基準線として訓練プロセス分類子値から判定され、その基準線を下回ると、分類子値が取消刺激と関連付けられると仮定して)、BCIデバイス200は、ユーザが解答画像308の代わりに取消画像312を選択することを決定したことを判定し得る。換言すれば、この規則の実施例では、負の分類子値が、選択された解答画像308を保持するというユーザの意図に対する負の相関を示し、したがって、保持状態が、取消画像312に切り換えられる。
【0085】
かかる規則を実現するとき、BCIデバイス200は、例えば、1つ以上の条件が満たされるかどうかを判定し得、また、これらの条件の任意の適切な組み合わせが満たされていることに基づいてユーザの決定(すなわち、適切な保持状態)を特定し得る。例えば、BCIデバイス200は、三部からなる規則を実現し得る。三部からなる規則の実施例は、第1に、BCIデバイス200が、2つの分類子値のうちのどちらが他方よりも大きいかを判定することを含み得る。典型的な分類子システムを使用して、より大きな分類子値が、典型的には、別の状態(例えば、取消画像312)に対して1つの状態(例えば、選択された画像308)を保持するためにユーザの決定間のより大きな相関と関連付けられる。第2に、BCIデバイス200は、次いで、第1及び第2の分類子値が共に正であるかどうかを判定し得、それは、状態のうちのいずれか1つを選択するというユーザの意図間のよりよい相関を示し得る。第3に、BCIデバイス200は、第1及び第2の分類子値が共に閾値、例えば、第1の規則に関して前述されたような閾値などよりも小さいかどうかを判定し得る。全ての3つの規則条件が、第3の規則の実施例において満たされる場合、BCIデバイス200は、より大きな分類子値と関連付けられた状態を保持状態として特定し得る。
【0086】
なおその上に、保持及び解除プロセスは、個々の制御状態にマッピングされた単一の保持及び単一の解除状態に関して記載されたが、様々な実施形態は、様々な保持及び/または解除状態の任意の適切な組み合わせを含む。例えば、ユーザは、それぞれの保持状態及び現在選択された保持状態と関連付けられた活動を停止する単一の解除状態と関連付けられた任意の数の刺激に露出され得る。かかる実施形態は、例えば、単独で制御されたデバイスの一部を形成する、より複雑な種類の制御、例えば、方向転換、速度の増加、速度の減少等を提供するために使用され得る複数の保持状態に対するアクセスをユーザに提供することが望ましいときに、特に有用であり得る。
【0087】
保持−解除の概念の詳細が、ユーザが試験問題に対する解答を選択することに関して説明されたが、実施形態は、BCIデバイス200が、状態変更を利用する任意の適切なシステムの一部として保持−解除機能を実現することを含む。すなわち、保持状態は、ユーザが維持することを望む任意の状態を用いて特定され得、一方で、解除状態は、保持状態を停止するというユーザの望みから結果として生じる任意の状態と関連付けられ得る。
【0088】
別の実施例を提供するために、保持及び解除状態は、電動車椅子用の運動制御、または任意の他の適切な種類の電動補助デバイスに適用され得る。かかる実施形態では、保持状態が、前方移動または方向転換と関連付けられ得る一方で、解除状態が、移動または方向転換の停止と関連付けられ得る。加えて、実施形態は、保持及び解除状態が、特定の適用についてそれらの関連付けられたマッピングされた制御挙動を切り換えることを含む。前述されたように、保持及び解除状態の特定の検出ならびに切り換えが、かかる実施形態において特に有用であり得る。すなわち、ユーザは、前方移動、停止、次いで、再び前方移動の間で迅速に切り換えることを望み得る。かかる実施例では、実施形態は、移動状態として最初に特定される保持状態と、停止状態として最初に特定される解除状態とを含む。ユーザが、彼の動きを停止することを一旦決定すると、保持状態が、次いで、停止状態として特定され得、解除状態が、移動状態として特定され得る。ある実施形態では、これらの状態が、ユーザの所望された決定が迅速及び正確に解釈されることを可能にするために連続的に切り換わることができる。
【0089】
更に別の実施例では、保持−解除状態が、障害のあるユーザの発話を提供または補足するために使用される任意の適切な種類のスペラー(speller)に適用され得る。かかる実施形態では、任意の適切な数の保持及び解除状態が、BCIスペラーの任意の適切な数の場所、行、列等と関連付けられ得る。保持及び解除システムは、保持状態を用いて1つ以上の場所を選択するというユーザの意図を解釈することによって、及び間違った選択の場合において選択を解除するために取消画像を提供することによって、BCIスペラーとの関連において実現され得、その場所に対する継続的な注目を保持及び確認として解釈する。
【0090】
図4は、本開示の例示的な実施形態に従って試験解答選択方法400の実施例を例示する。本実施形態では、方法400が、任意の適切なコンピューティングデバイス(例えば、それぞれ、
図1及び2に示されるように、BCIデバイス104またはBCIデバイス200)によって実現され得る。一態様では、方法400が、例えば、
図2に示されるように、メモリ208内に記憶されたモジュールのうちの1つ以上において命令を実行するCPU202の任意の適切な部分などの、1つ以上のアルゴリズム、命令、プログラム、アプリケーション、コード等によって行われ得る。
【0091】
方法400は、1つ以上のプロセッサが、認知評価試験用の多肢選択式の解答に対応する画像を表示するときに始まり得る(ブロック402)。これは、例えば、ある実施形態において、標準試験フォーマット、例えば、ユーザの認知力を測定するために使用される標準認知評価試験などに従って画像を表示することを含み得る(ブロック402)。ある実施形態では、画像が、例えば、BCIデバイスの1つ以上のGPU、例えば
図2に示されるようなGPU204などによって、生成されてもよい。画像は、例えば、メモリ208の1つ以上の部分からCPU202及び/またはGPU204から取り出される
図3Aに示される画像に対応する画像を含んでもよく、それは、例えば、BCI処理及び試験モジュール214からの1つ以上の保存されたファイルの取り出しを含み得る(ブロック402)。
【0092】
方法400は、1つ以上のプロセッサが、認知評価試験の実施の間にユーザの脳活動に基づいてEEG信号を受信することを含み得る(ブロック404)。EEG信号は、例えば、ユーザの脳活動を測定するように構成された任意の適切な脳活動を監視するシステム、例えば、
図1に示されるように、脳活動を監視するシステム103などによって、生成され得る(ブロック404)。
【0093】
方法400は、1つ以上のプロセッサが、ユーザが多肢選択式の解答からある解答を決定することを意図するかどうかを判定することを含み得る(ブロック406)。この判定は、例えば、BCIデバイスの1つ以上のCPU、ある実施形態では、例えば、
図2に示されるように、CPU202などによってなされ得る(ブロック406)。例えば、この判定は、1つ以上のプロセッサが、時間が切れる前にある解答を決定することをユーザに通知するタイマー、例えば、
図3Aに示されるように、タイマー313などを表示するときになされてもよい(ブロック406)。別の実施例を提供するために、この判定は、試験を受けている間にユーザのEEG信号上で行われる非同期BCIプロセスによってなされてもよい(ブロック406)。
【0094】
1つ以上のプロセッサが、ユーザがある解答を決定する準備ができていることを判定する場合、方法400は、ユーザの解答を判定し始める(ブロック408)。さもなければ、方法400は、ユーザが表示された解答画像を決定する準備ができることを待ち続ける(ブロック406)。ある実施形態では、ユーザがある解答を決定する準備ができたかどうかの判定が、3つのステップの解答選択及び検証プロセスにおける第1のステップに対応する(ブロック406)。
【0095】
方法400は、1つ以上のプロセッサが、多肢選択式の解答からユーザの選択を判定することを含み得る(ブロック408)。ある実施形態では、ユーザの選択の判定が、3つのステップの解答選択及び検証プロセスの第2のステップの一部である(ブロック408)。この判定は、例えば、様々な実施形態では、SSVEP BCI及び/またはP300BCIプロセスに従って(ブロック408)、ユーザが、表示された画像を提示されていること(ブロック402)に応答して、ユーザの脳活動データ信号(例えば、EEG信号)を監視することを含み得る。
【0096】
方法400は、1つ以上のプロセッサが、ユーザの解答が変更されたかどうか(ブロック410)を判定すること(ブロック408)を含み得る。これは、例えば、1つ以上のプロセッサが、ユーザの選択した解答の判定(ブロック408)後、ユーザからEEG信号を受信し続け、ユーザの脳活動が、ユーザの前に選択した解答に対する一致を示すかどうか(ブロック410)を検証することを含み得る。ある実施形態では、ユーザの解答の検証(ブロック408)が、3つのステップの解答選択及び検証プロセスの第3のステップ(ブロック410)の一部である。
【0097】
本実施形態では、方法400が、1つ以上のプロセッサが、表示された画像(ブロック402)を修正することによってユーザの解答を検証し(ブロック408)、
図3Bに示されるように、取消画像を提示する間に、他の解答選択を非強調化することを含み得る(ブロック410)。これはまた、例えば、1つ以上のプロセッサが、ユーザの選択した解答が現在の保持状態に対応するかどうか、またはユーザの脳活動が、取消画像へのユーザの集中と関連する解除状態の特定を通して選択された解答を取り消すというユーザの意図を示すかどうかを判定するためにユーザの脳活動を処理することを含み得る(ブロック410)。ユーザの選択した解答が検証される場合及び/または解除状態が検出されない場合、方法400は、ユーザの選択した解答を記録し続ける(ブロック410)。さもなければ、方法400は、ユーザが選択を行う前にユーザに提示される最初の画像を表示することに戻る(ブロック402)。
【0098】
方法400は、1つ以上のプロセッサが、ユーザの解答を記録することを含み得る(ブロック412)。これは、例えば、ある実施形態では、例えば
図2に示されるようなCPU202などの1つ以上のプロセッサが、ユーザの検証された選択された解答(ブロック410)を、例えばメモリ208などのメモリ内に記憶することを含み得る(ブロック412)。
【0099】
方法400は、1つ以上のプロセッサが、次の試験問題に進むことを含み得る(ブロック414)。これは、例えば、ある実施形態では、例えば
図2に示されるようなCPU202などの1つ以上のプロセッサが、例えば、メモリ208の試験及び処理モジュール214から次の試験問題を取り出すことを含み得る(ブロック414)。最後の試験問題が記録された場合、方法400は、1つ以上のプロセッサが、例えば
図2に示されるようなメモリ208などのメモリ内にユーザ解答プロファイル全体をフォーマット及び/または記憶することを含み得る(ブロック414)。ブロック412で次の試験問題に一旦進むと、方法400は、次の試験問題をユーザに表示することを含み得る(ブロック402)。
【0100】
図5は、本開示の例示的な実施形態に従って保持−解除状態判定方法500の実施例を例示する。本実施形態では、方法500は、任意の適切なコンピューティングデバイス(例えば、
図1及び2に示されるような、それぞれ、BCIデバイス104またはBCIデバイス200)によって実現され得る。一態様では、方法500が、1つ以上のアルゴリズム、命令、プログラム、アプリケーション、コード等によって行われ得、例えば、CPU202の任意の適切な部分などが、例えば、
図2に示されるように、メモリ208内に記憶されたモジュールのうちの1つ以上における命令を実行する。ある実施形態では、方法500が、例えば、
図3Bを参照して前述したように、3つのステッププロセスの第3の検証ステップの実現態様である。
【0101】
方法500は、1つ以上のプロセッサがユーザのEEG信号に基づいて分類子値の第1及び第2の範囲を計算するときに始まり得る(ブロック502)。ある実施形態では、分類子値の第1及び第2の範囲が、それぞれ、対象刺激及び取消刺激へのユーザの露出に基づいて計算され得る(ブロック502)。
【0102】
例えば、分類子値の第1及び第2の範囲は、訓練セッションの間に訓練分類子値として計算され得、それによって、ユーザが、BCIの様々な適用と関連付けられ得る様々な刺激、例えば、認知試験の実施、スペラー、電動車椅子用の制御等に露出される(ブロック502)。例えば、第1及び第2の刺激は、選択された試験解答画像及び取消画像と関連付けられた刺激、ある実施形態では、例えば、
図3Bに示されるように、それぞれ、境界310A〜D及び/または境界314の明滅などへのユーザの露出を含むことができる。
【0103】
方法500は、1つ以上のプロセッサが、第1及び第2の訓練分類子閾値を計算することを含み得る(ブロック504)。ある実施形態では、第1及び第2の訓練分類子閾値が分類子値の第1及び第2の範囲を互いから分離するように、第1及び第2の訓練分類子閾値が、分類子値の第1及び第2の範囲に基づいて計算され得る(ブロック504)。
【0104】
方法500は、1つ以上のプロセッサが、ユーザが対象刺激または取消刺激にその後露出される間に受信されたEEG信号を分類することを含み得る(ブロック506)。この分類は、例えば、第1及び第2の訓練分類子閾値に基づいて分類子値の第1のまたは第2の範囲内にあるように信号を分類することを含み得る(ブロック506)。
【0105】
方法500は、1つ以上のプロセッサが、ユーザが対象刺激または取消刺激に露出されたかどうかを、その後受信されたEEG信号を分類子値の第1または第2の範囲のうちの1つに分類することに基づいて、判定することを含み得る(ブロック508)。これは、例えば、分類されたEEG信号が、分類子値の第1または第2の範囲のどちらの範囲内にあるかを判定することに対応する分類されたEEG信号の比較を含み得る(ブロック508)。
【0106】
方法500は、1つ以上のプロセッサが、ユーザが対象刺激または取消刺激にその後露出されたかどうかの判定(ブロック508)後に受信されたEEG信号に基づいて、保持−解除分類子値を計算することを含み得る(ブロック510)。その計算は、例えば、
図3Bに関して前述したような任意の適切な技法を使用してユーザの脳活動(例えば、EEG信号)を分類し、保持−解除分類子値を生成することを含み得る(ブロック510)。
【0107】
方法500は、1つ以上のプロセッサが、保持−解除分類子値と第1及び第2の訓練分類子閾値の比較に基づいて、ユーザが、対象刺激と関連付けられた動作を保持すること、または取消刺激に切り換えることによってその動作を解除することを決定したかどうかを特定することを含み得る(ブロック512及び514)。
【0108】
すなわち、方法500は、1つ以上のプロセッサが、計算された第1及び第2の訓練分類子閾値(ブロック504)と、計算された保持−解除分類子値(ブロック510)を比較して、ユーザが、対象刺激と関連付けられた動作を保持することを決定したかどうかを判定することを含み得る(ブロック512)。様々な実施形態では、方法500が、選択された試験解答画像(もしくは保持及び解除状態の特定を用いて実現され得る任意の他の適切な刺激)が保持される(保たれる)または解除される(取り消される)べきであるかどうかを確定する(ブロック512)ために、例えば、
図3Bを参照して前述したような3つの規則の任意の適切な組み合わせを使用する保持及び解除状態の特定を含み得る。
【0109】
例えば、ユーザが、元の対象刺激と関連付けられた動作を保持することを決定したかどうかの判定が、計算された保持−解除分類子値(ブロック510)が、第1の訓練分類子閾値(ブロック504)よりも大きいときに判定され得る(ブロック512)。
【0110】
別の実施例を提供するために、ユーザが、対象刺激と関連付けられた動作を保持しないことを決定したという判定は、計算された保持−解除分類子値(ブロック510)が第2の訓練分類子閾値(ブロック504)よりも小さいときに判定され得る(ブロック512)。
【0111】
ユーザが、対象刺激と関連付けられた動作の保持を決定したことが判定された場合(ブロック512)には、方法500は、EEG信号を受信し続け、保持−解除分類子を計算すること(ブロック510)に戻る。ユーザが対象刺激と関連付けられた動作を保持することを決定しないことが判定された場合(ブロック512)には、方法500は続く(ブロック514)。
【0112】
様々な実施形態では、ユーザが、元の対象刺激と関連付けられた動作を保持することを決定したという判定が一旦なされると、方法500は、直近の脳活動の監視に基づいて、追加の保持−解除分類子値を生成し(ブロック510)、次いで、前に生成された保持−解除分類子ならびに/あるいは第1及び/または第2の分類子閾値と新しい保持−解除分類子値を比較することを含み得る(ブロック512)。様々な実施形態では、2つ以上の保持−解除分類子値の比較が、例えば、
図3Bを参照して前述したような任意の適切な数の規則を使用して実現され得る。
【0113】
様々な実施形態は、保持解除分類子値を計算し(ブロック510)、ユーザが対象刺激と関連付けられた動作を保持することを決定したかどうかを判定する(ブロック512)行為を繰り返すことを含む。このようにして、方法500は、保持状態を維持するかまたは解除状態に切り換えるかどうかの連続判定を容易にし得る(ブロック510及び512)。
【0114】
方法500は、1つ以上のプロセッサが、前の対象刺激から解除刺激への切り換えを特定し、保持状態によって表わされた動作を解除することを含み得る(ブロック514)。これは、例えば、ユーザが彼女の注力を、提示された試験解答画像の保持(例えば、画像308への注力の維持)と関連付けられた1つの特定の刺激(例えば、明滅及び/またはフラッシュ)から、特定された保持状態の解除(例えば、取消画像312への注力の切り換え)と関連付けられた別の刺激に変更したという判定を含み得る。
【0115】
その切り換えが、一旦、前の対象刺激から解除刺激になされると(ブロック514)、方法500は、保持解除分類子値を計算すること(ブロック510)に戻り得る。しかしながら、これが行われるとき、実施形態は、取消刺激への保持状態の切り換えの関連、及びその逆の場合を含む。
【0116】
例示的な実施例を提供するために、ユーザは、最初に対象刺激(例えば、試験解答画像を用いて提示されるもの)に露出され得、この維持された露出は、保持状態と関連付けられ得る。方法500は、ユーザが、彼の露出を対象刺激から取消刺激(取消画像)に切り換えること(ブロック514)によって試験問題を取り消すことを意図していたことを判定し得る(ブロック512)。一旦これが起こると、後続の保持−解除分類子値の計算(ブロック510)に戻ることが、元の対象刺激(試験問題画像)が取消刺激(解除状態)に切り換えられるという関連を結果としてもたらす。この戻ることはまた、元の取消刺激(取消画像)が対象刺激(保持状態)に切り換えられるという関連も結果としてもたらす。
【0117】
結果として、解除状態が、新しい保持状態として後に処理され、逆もまた同じである。(ブロック514からブロック510に)戻った後、ユーザが彼の集中を切り換えて試験問題に戻した場合、計算された保持−解除分類子値(ブロック510)が使用されることになり、ユーザが取消画像と関連付けられた動作を保持することを決定しなかったという判定がなされる(ブロック512)。このプロセスは、以下に更に記述される1つ以上の条件が満たされる(終了する)まで、任意の適切な回数だけ、保持及び解除状態の切り換えを繰り返し得る。
【0118】
いくつかの実施形態では、この逆戻りプロセスが繰り返される(ブロック510、512、及び514)回数は、限定され得る。例えば、この逆戻りプロセスは、所定期間にわたって、方法500がその場合に終了し得る最大閾値数のループ等にわたって、ユーザの脳活動を監視することによって繰り返され得る。これらの実施形態は、ユーザが、元の対象刺激と関連付けられた動作を保持することを決定したかどうかの判定が、比較的短い期間内、例えば試験環境などにおいてなされる必要があるときに、特に有用であり得る。このようにして、方法500は、保持状態が維持されるかどうかを判定するために、脳活動がいくつかの繰り返しにわたって監視されることを可能にし、それによって、ユーザの決定の正確な判定を提供する。
【0119】
他の実施形態では、方法500が、必ずしも終了せずに、逆戻りプロセス(ブロック510、512、及び514)を連続的に繰り返し得る。これらの実施形態は、制御システムのために使用されるBCIの実現形態に特に有用であり得る。例えば、BCIが電動車椅子の一部として実現された場合には、保持状態を車椅子を前方へ移動することと関連付けて、解除状態(または安全停止)が検出されるまでユーザの脳活動を連続的に監視することが好ましいであろう。
【0120】
この開示を読めば、当業者は、本明細書に開示される原理を通して、BCI及び/または他の適切な制御インターフェースを使用するための更なる追加の代替の構造及び機能的設計を認識するであろう。例えば、いくつかの実施形態は、認知試験及び車椅子制御の実現形態に関する開示全体を通して提供されたが、様々な実施形態は、状態変更を利用する任意の適切な種類の適用を含み得る。特定の実施例を提供するために、ゲーミングアプリケーションが、本明細書に記述されるような保持−解除アルゴリズムを利用して実現され得る。ゲーミングアプリケーションは、特定のゲーミングアプリケーションに関連する試験問題及び取消画像の代わりに他の適切な種類の刺激を提示し得る。開示全体を通して記述されるように、保持−解除プロセスは、次いで、ユーザが様々な提示された刺激の中から選択する準備ができているかどうか、ユーザが選択を維持することを意図するかどうか、ユーザがその選択を取り消して、その選択を別の刺激に切り換えることを意図するかどうか等を判定するために適用される。
【0121】
それ故、特定の実施形態及び適用が例示及び記載されたが、開示される実施形態は、本明細書に開示される精密な構造及び構成要素に限定されないことが理解される。当業者に明らかであろう様々な修正、変更、及び変形が、添付の特許請求の範囲に定義される趣旨及び範囲から逸脱することなく、本明細書に開示される方法ならびに装置の構成、動作、及び詳細になされてもよい。
【0122】
以下の追加の考察を前述に適用する。この明細書全体を通して、複数の実例が、単一の実例として記載された構成要素、動作、または構造を実現してもよい。1つ以上の方法の個々の動作が、別個の動作として例示及び記載されるが、個々の動作のうちの1つ以上が、同時に行われてもよいし、それらの動作が例示された順に行われることを決して要求しない。構成の実施例において別個の構成要素として提示された構造及び機能は、組み合わされた構造または構成要素として実現されてもよい。同様に、単一の構成要素として提示された構造及び機能が、別個の構成要素として実現されてもよい。これらの及び他の変形、修正、追加、及び改善は、本開示の主題の範囲内にある。
【0123】
更に、一定の実施形態が、論理もしくは多数の構成要素またはモジュールを含むように本明細書に記載される。モジュールは、ソフトウェアモジュール(例えば、マシン可読媒体上に記憶されたコード)またはハードウェアモジュールのいずれかを構成し得る。ハードウェアモジュールは、一定の動作を行うことができる有形のユニットであり、一定の手法で構成または配置され得る。実施形態例では、1つ以上のコンピュータシステム(例えば、独立型のクライアントもしくはサーバコンピュータシステム)またはコンピュータシステムの1つ以上のハードウェアモジュール(例えば、プロセッサまたはプロセッサのグループ)が、本明細書に記載されるような一定の動作を行うように動作するハードウェアモジュールとしてソフトウェア(例えば、アプリケーションまたはアプリケーション部分)によって構成されてもよい。
【0124】
いくつかの場合において、ハードウェアモジュールが、一定の動作を行うために(例えば、フィールドプログラマブルゲートアレイ(FPGA)もしくは特定用途向け集積回路(ASIC)などのような特殊用途プロセッサとして)永久的に構成される専用の回路または論理を含んでもよい。ハードウェアモジュールはまた、一定の動作を行うためにソフトウェアによって一時的に構成される(例えば、汎用プロセッサもしくは他のプログラム可能なプロセッサ内に包含されるような)プログラム可能な論理または回路を含んでもよい。ハードウェアモジュールを専用の及び永久的に構成された回路内または(例えば、ソフトウェアによって構成された)一時的に構成された回路内に実現するという決定は、費用及び時間を考慮して行われ得ることが認識されるであろう。
【0125】
したがって、ハードウェアという用語は、一定の手法で動作するために、または本明細書に記載される一定の動作を行うために、物理的に構築され、永久的に構成され(例えば、配線によって組み込まれ)、あるいは一時的に構成され(例えば、プログラムされ)る実体である、有形の実体を包含することを理解されたい。ハードウェアモジュールが一時的に構成され(例えば、プログラムされ)る実施形態を考えると、ハードウェアモジュールのそれぞれは、1つの時点において構成またはインスタンス化される必要はない。例えば、ハードウェアモジュールが、ソフトウェアを使用して構成された汎用プロセッサを含む場合、汎用プロセッサは、異なる時間にそれぞれの異なるハードウェアモジュールとして構成されてもよい。したがって、ソフトウェアは、例えば、ある時点において特定のハードウェアモジュールを構成し、かつ異なる時点において異なるハードウェアモジュールを構成するようにプロセッサを構成してもよい。
【0126】
ハードウェア及びソフトウェアモジュールは、他のハードウェア及び/またはソフトウェアモジュールに情報を提供し、かつ他のハードウェア及び/またはソフトウェアモジュールから情報を受信することができる。したがって、記載されたハードウェアモジュールは、通信可能に連結されているとみなされ得る。かかるハードウェアまたはソフトウェアモジュールの複数が同時に存在する場合、通信は、ハードウェアまたはソフトウェアモジュールを接続する(例えば、適切な回路及びバス上の)信号伝達を通して達成され得る。複数のハードウェアモジュールまたはソフトウェアが、異なる時間に構成またはインスタンス化される実施形態では、かかるハードウェアまたはソフトウェアモジュール間の通信が、例えば、複数のハードウェアまたはソフトウェアモジュールがアクセスできるメモリ構造内の情報の記憶及び取り出しを通して、達成され得る。例えば、1つのハードウェアまたはソフトウェアモジュールが、ある動作を行い得、その動作の出力を、それが通信可能に連結されるメモリデバイス内に記憶し得る。更なるハードウェアまたはソフトウェアモジュールが、次いで、後の時間に、記憶された出力を取り出して処理するためにメモリデバイスにアクセスし得る。ハードウェア及びソフトウェアモジュールはまた、入力または出力デバイスとの通信を開始し得、リソース上で動作すること(例えば、情報の収集)ができる。
【0127】
本明細書に記載される方法の実施例の様々な動作は、関連動作を行うように一時的に(例えば、ソフトウェアによって)または永久的に構成された1つ以上のプロセッサによって、少なくとも部分的に行われてもよい。一時的に構成されようとまたは永久的に構成されようと、かかるプロセッサは、1つ以上の動作または機能を行うように動作するプロセッサで実現されるモジュールを構成し得る。本明細書において言及されるモジュールは、いくつかの実施形態例では、プロセッサで実現されるモジュールを含み得る。
【0128】
同様に、本明細書に記載される方法またはルーチンは、少なくとも部分的にプロセッサで実現され得る。例えば、方法の動作のうちの少なくともいくつかが、1つまたはプロセッサあるいはプロセッサで実現されるハードウェアモジュールによって行われてもよい。一定の動作の性能は、1つ以上のプロセッサ間に分散されてもよく、単一のマシン内に存在するのみならず、多数のマシンにわたっても展開される。いくつかの実施形態例では、プロセッサまたは複数プロセッサが、単一の場所に(例えば、家庭環境内に、オフィス環境内に、またはサーバファームとして)位置してもよく、一方で、他の実施形態では、複数プロセッサが、多数の場所にわたって分散されてもよい。
【0129】
1つ以上のプロセッサはまた、「クラウドコンピューティング」環境においてまたはSaaSとして関連動作の性能を支援するように動作し得る。例えば、それらの動作のうちの少なくともいくつかが、(プロセッサを含むマシンの実施例などの)コンピュータのグループによって行われてもよく、これらの動作は、ネットワーク(例えば、インターネット)経由及び1つ以上の適切なインターフェース(例えば、アプリケーションプログラムインターフェース(API))経由でアクセス可能である。
【0130】
動作の一定の性能は、1つ以上のプロセッサ間に分散されてもよく、単一のマシン内に存在するのみならず、多数のマシンにわたっても展開される。いくつかの実施形態例では、1つ以上のプロセッサまたはプロセッサで実現されるモジュールが、単一の地理的場所に(例えば、家庭環境、オフィス環境、またはサーバファーム内に)位置してもよい。他の実施形態例では、1つ以上のプロセッサまたはプロセッサで実現されるモジュールが、多数の地理的場所にわたって分散されてもよい。
【0131】
本明細書のうちのいくつかの部分は、マシンメモリ(例えば、コンピュータメモリ)内にビットもしくは二値デジタル信号として記憶されたデータ上の動作のアルゴリズムまたは記号表現によって提示される。これらのアルゴリズムまたは記号表現は、データ処理技術分野の当業者によって、彼らの仕事の内容を他の当業者に伝達するために使用される技法の実施例である。本明細書に使用される際、「アルゴリズム」または「ルーチン」は、所望結果に導く動作または類似処理の自己矛盾のないシーケンスである。この文脈において、アルゴリズム、ルーチン、及び動作は、物理量の物理操作を含む。典型的には、必ずしもではないが、かかる量は、マシンによって記憶され、アクセスされ、転送され、組み合わされ、比較され、またはさもなければ操作されることができる電気、磁気、もしくは光信号の形態を取り得る。時には、主として一般的な使用の理由のために、例えば、「データ」、「内容」、「ビット」、「値」、「要素」、「記号」、「文字」、「用語」、「数」、「数字」、または同様のものなどの単語を使用してかかる信号を言及することが便利である。しかしながら、これらの単語は、単に便利な標識にすぎず、適切な物理量と関連付けられることになる。
【0132】
別段具体的に述べられない限り、例えば、「処理する」、「コンピューティングする」、「計算する」、「判定する」、「提示する」、「表示する」、または同様のものなどの言葉を使用する本明細書における記述は、物理(例えば、電子、磁気、もしくは光学)量として表わされるデータを1つ以上のメモリ(例えば、揮発性メモリ、不揮発性メモリ、もしくはそれらの組み合わせ)、レジスタ、あるいは情報を受信、記憶、伝送、もしくは表示する他のマシン構成要素内で操作または変換するマシン(例えば、コンピュータ)の動作あるいはプロセスを言及し得る。
【0133】
本明細書に使用される際、「一実施形態」または「ある実施形態」へのあらゆる言及は、その実施形態に関して記載される特定の要素、特徴、構造、または特性が、少なくとも1つの実施形態に含まれることを意味する。明細書の様々な場所における「一実施形態では」という言い回しの出現は、必ずしも全てが同じ実施形態を言及するものではない。
【0134】
いくつかの実施形態は、「連結された」及び「接続された」という表現をそれらの派生語と共に使用して記載され得る。例えば、いくつか実施形態は、2つ以上の要素が直接物理的または電気的に接触していることを示すために、「連結された」という用語を使用して記載され得る。しかしながら、「連結された」という用語はまた、2つ以上の要素が互いに直接接触していないけれども、それにもかかわらず互いに協働または相互作用することを意味し得る。実施形態は、この文脈に限定されない。
【0135】
本明細書に使用される際、「備える」、「備えている」、「含む」、「含んでいる」、「有する」、「有している」という用語またはそれらの任意の他の変形は、非排他的包含をカバーするように意図される。例えば、要素のリストを含むプロセス、方法、物品、または装置は、必ずしもそれらの要素のみに限定されるものではなく、かかるプロセス、方法、物品、または装置に明確に列挙されないあるいは固有の他の要素を含み得る。更に、それとは反対に明確に述べられない限り、「または」は、包括的なまたはのことを言い、排他的なまたはのことを言わない。例えば、条件AまたはBは、以下、すなわち、Aが真であり(または存在し)かつBが偽である(または存在しない)、Aが偽であり(または存在せず)かつBが真である(または存在する)、ならびにA及びBの両方が真である(または存在する)のうちのいずれか1つによって満たされる。
【0136】
加えて、「a」または「an」の使用が、本明細書における実施形態の要素及び構成要素を記載するために利用される。これは、単に利便性のために、かつ記載の一般的意味を与えるために行われる。この記載は、1つまたは少なくとも1つを含むように読まれるべきであり、単数形はまた、別段それが意図されることが明らかでない限り、複数形を含む。
【0137】
この発明を実施するための形態は、単なる実施例として解釈され、仮に不可能でなくても、全ての可能な実施形態を記載することが非実用的であろうように、全ての可能な実施形態を記載しない。現在の技術またはこの出願の出願日後に開発された技術のいずれかを使用して、非常に多くの代替の実施形態が実現され得る。
【0138】
任意の特定の実施形態の特定の特徴、構造、または特性は、任意の適切な手法で及び1つ以上の他の実施形態との任意の適切な組み合わせで組み合わされ得、他の特徴の対応する使用を用いずに選択された特徴の使用を含む。加えて、多くの修正が、特定の適用、状況、または材料を本発明の本質的範囲及び趣旨に適合させるためになされてもよい。本明細書に記載及び例示される本発明の実施形態の他の変形ならびに修正が、本明細書における教示に照らして可能であり、本発明の趣旨及び範囲の一部として考慮されることが理解される。実施例として、かつ限定ではなく、本開示は、少なくとも以下の態様を考慮する。
【0139】
1.認知評価試験に対する解答を判定するためにコンピュータで実現される方法であって、
【0140】
1つ以上のプロセッサによって、認知評価試験用の多肢選択式の解答に対応する画像を表示することと、
【0141】
1つ以上のプロセッサによって、認知評価試験の実施の間にユーザの脳活動に基づいて脳波計(EEG)信号を受信することと、
【0142】
1つ以上のプロセッサによって、EEG信号に基づいて、ユーザが多肢選択式の解答からある解答を決定することを意図するかどうかを判定することと、
【0143】
1つ以上のプロセッサによって、ユーザが解答を決定することを意図することが判定された後に、EEG信号に基づいて多肢選択式の解答からユーザの解答を判定することと、
【0144】
1つ以上のプロセッサによって、ユーザの解答が判定された後に受信されたEEG信号に基づいて、ユーザの解答を検証することと、を含む、コンピュータで実現される方法。
【0145】
2.EEG信号を受信し、ユーザがある解答を決定することを意図するかどうかを判定し、ユーザの解答を判定し、及びユーザの解答を検証する行為が、ユーザによって提供される運動または口頭フィードバックなしで行われる、請求項1に記載のコンピュータで実現される方法。
【0147】
ユーザが多肢選択式の解答に対応する画像の中からある画像に注目していることに応答して受信されたEEG信号に基づいて、ユーザの解答を判定することを含み、かつ、ユーザの解答を検証する行為が、
【0148】
ユーザの解答が判定された後に、ユーザが画像に注目し続けていることに応答して受信されたEEG信号に基づいて、ユーザの解答を検証することを含む、請求項1または2のいずれかに記載のコンピュータで実現される方法。
【0149】
4.ユーザがある解答を決定することを意図するかどうかを判定する行為が、
【0150】
ユーザがある解答を決定するための期限を示すタイマーが表示されるときに、ユーザがある解答の決定を意図することを判定することを含む、請求項1〜3のいずれか一項に記載のコンピュータで実現される方法。
【0151】
5.ユーザの解答が一旦判定されると、判定された解答の画像を維持すると同時に残りの解答に対応する画像を非強調化することによって、多肢選択式の解答に対応する画像を修正することと、
【0152】
ユーザが取消画像に注目するときに、ユーザが判定された解答を取り消すことを可能にする選択肢を示す取消画像を生成することと、を更に含み、かつ、ユーザの解答を検証する行為が、
【0153】
受信されたEEG信号に基づいて、ユーザが選択された解答の画像または取消画像に注目しているかどうかを判定することによって、ユーザの解答を検証することを含む、請求項1〜4のいずれか一項に記載のコンピュータで実現される方法。
【0154】
6.認知評価試験が、複数の試験問題を有する標準試験であり、その問題に対する解答が、試験解答プロファイルを提供する、請求項1〜5のいずれか一項に記載のコンピュータで実現される方法であって、
【0155】
ユーザ解答プロファイルを提供するために、画像を表示し、EEG信号を受信し、ユーザがある解答を決定することを意図するかどうかを判定し、ユーザの解答を判定し、及び複数の試験問題のそれぞれについてのユーザの解答を検証する行為を繰り返すことと、
【0156】
標準試験の採点を容易にするために、試験解答プロファイルに従ってユーザ解答プロファイルをフォーマットすることと、を更に含む、コンピュータで実現される方法。
【0157】
7.認知評価試験に対する解答を判定するためのマシン可読命令を記憶する非一時的な有形のコンピュータ可読媒体であって、その命令が、プロセッサによって実行されるときに、プロセッサに、
【0158】
認知評価試験用の多肢選択式の解答に対応する画像を表示させ、
【0159】
認知評価試験の実施の間のユーザの脳活動に基づいて、脳波計(EEG)信号を受信させ、
【0160】
EEG信号に基づいて、ユーザが多肢選択式の解答からある解答を決定することを意図するかどうかを判定させ、
【0161】
ユーザがある解答を決定することを意図することが判定された後に、EEG信号に基づいて多肢選択式の解答からユーザの解答を判定させ、
【0162】
ユーザの解答が判定された後に受信されたEEG信号に基づいて、ユーザの解答を検証させる、非一時的な有形のコンピュータ可読媒体。
【0163】
8.EEG信号を受信し、ユーザがある解答を決定することを意図するかどうかを判定し、ユーザの解答を判定し、及びユーザの解答を検証するための命令が、ユーザによって提供される運動または口頭フィードバックなしで、プロセッサによって実行される、請求項7に記載の非一時的な有形のコンピュータ可読媒体。
【0164】
9.ユーザの解答を判定するための命令が、プロセッサによって実行されるときに、プロセッサに、
【0165】
ユーザが多肢選択式の解答に対応する画像の中からある画像に注目していることに応答して受信されたEEG信号に基づいて、ユーザの解答を判定させる命令を更に含み、かつ、ユーザの解答を検証するための命令が、
【0166】
ユーザの解答が判定された後に、ユーザが画像に注目し続けていることに応答して受信されたEEG信号に基づいて、ユーザの解答を検証するための命令を含む、請求項7または請求項8のいずれかに記載の非一時的な有形のコンピュータ可読媒体。
【0167】
10.ユーザがある解答を決定することを意図するかどうかを判定するための命令が、プロセッサによって実行されるときに、プロセッサに、
【0168】
ユーザがある解答を決定するための期限を示すタイマーが表示されるときに、ユーザがある解答を決定することを意図することを判定させる命令を更に含む、請求項7〜9のいずれか一項に記載の非一時的な有形のコンピュータ可読媒体。
【0169】
11.プロセッサによって実行されるときに、プロセッサに、
【0170】
ユーザの解答が一旦判定されると、判定された解答の画像を維持すると同時に残りの解答に対応する画像を非強調化することによって、多肢選択式の解答に対応する画像を修正させ、
【0171】
ユーザが取消画像に注目するときに、ユーザが判定された解答を取り消すことを可能にする選択肢を示す取消画像を生成させる命令を更に含み、かつ、ユーザの解答を検証するための命令が、
【0172】
受信されたEEG信号に基づいて、ユーザが選択された解答の画像または取消画像に注目しているかどうかを判定することによって、ユーザの解答を検証するための命令を含む、請求項7〜10のいずれか一項に記載の非一時的な有形のコンピュータ可読媒体。
【0173】
12.認知評価試験が、複数の試験問題を有する標準試験であり、その問題に対する解答が、試験解答プロファイルを提供し、プロセッサによって実行されるときに、プロセッサに、
【0174】
ユーザ解答プロファイルを提供するために、画像を表示し、EEG信号を受信し、ユーザがある解答を決定することを意図するかどうかを判定し、ユーザの解答を判定し、及び複数の試験問題のそれぞれについてのユーザの解答を検証するための命令の実行を繰り返させ、
【0175】
標準試験の採点を容易にするために、試験解答プロファイルに従ってユーザ解答プロファイルをフォーマットさせる命令を更に含む、請求項7〜11のいずれか一項に記載の非一時的な有形のコンピュータ可読媒体。
【0176】
13.ブレインコンピュータインターフェース(BCI)コンピュータ内に実現される方法であって、
【0177】
1つ以上のプロセッサによって、ユーザが対象刺激及び取消刺激にそれぞれ露出される間のユーザの脳波計(EEG)信号に基づいて、分類子値の第1及び第2の範囲を計算することと、
【0178】
1つ以上のプロセッサによって、分類子値の第1及び第2の範囲を互いから分離するために第1及び第2の訓練分類子閾値を計算することと、
【0179】
1つ以上のプロセッサによって、第1及び第2の訓練分類子閾値に基づいて、分類子値の第1または第2の範囲内にあるように、ユーザが対象刺激または取消刺激にその後露出される間に受信されたEEG信号を分類することと、
【0180】
1つ以上のプロセッサによって、その後受信されたEEG信号を分類子値の第1または第2の範囲のうちの1つに分類することに基づいて、ユーザが対象刺激または取消刺激に露出されたかどうかを判定することと、
【0181】
1つ以上のプロセッサによって、ユーザが対象刺激または取消刺激にその後露出されたかどうかを判定した後に受信されたEEG信号に基づいて、保持−解除分類子値を計算することと、
【0182】
1つ以上のプロセッサによって、保持−解除分類子値と第1及び第2の訓練分類子閾値との比較に基づいて、ユーザが、対象刺激と関連付けられた動作を保持することまたは取消刺激に切り換えることによって動作を解除することを決定したかどうかを特定することと、を含む、方法。
【0183】
14.1つ以上のプロセッサによって、ユーザが、対象刺激と関連付けられた動作の保持を決定したことが判定されるときに、1つ以上の動作を実行することと、
【0184】
1つ以上のプロセッサによって、ユーザが取消刺激に切り換えることによって動作の解除を決定したことが判定されるときに、1つ以上の動作の実行を停止することと、を更に含む、請求項13に記載の方法。
【0185】
15.ユーザが動作の保持を決定するかどうかを特定する行為が、
【0186】
保持−解除分類子値が、第1の訓練分類子閾値よりも大きいときに、対象刺激と関連付けられた動作を保持するというユーザの決定を特定することを含む、請求項13〜14のいずれか一項に記載の方法。
【0187】
16.ユーザが動作の解除を決定するかどうかを特定する行為が、
【0188】
保持−解除分類子値が第2の訓練分類子閾値よりも小さいときに、対象刺激と関連付けられた動作を解除するというユーザの決定を特定することを含む、請求項13〜15のいずれか一項に記載の方法。
【0189】
17.ユーザが、対象刺激と関連付けられた動作を保持することを決定したという判定後に受信されたEEG信号に基づいて、追加の保持−解除分類子値を生成することと、
【0190】
ユーザが対象刺激と関連付けられた動作を保持することを決定したことを、
【0191】
保持−解除分類子値が追加の保持−解除分類子値よりも大きいとき、
【0192】
保持−解除分類子値及び追加の保持−解除分類子値が共に正であるとき、ならびに
【0193】
保持−解除分類子値及び追加の保持−解除分類子値が共に第1の訓練分類子閾値よりも小さいときに、判定することと、を更に含む、請求項13〜16のいずれか一項に記載の方法。
【0194】
18.認知評価試験に対する解答を判定するためのマシン可読命令を記憶する非一時的な有形のコンピュータ可読媒体であって、その命令が、プロセッサによって実行されるときに、プロセッサに、
【0195】
ユーザが対象刺激及び取消刺激にそれぞれ露出される間のユーザの脳波計(EEG)信号に基づいて、分類子値の第1及び第2の範囲を計算させ、
【0196】
分類子値の第1及び第2の範囲を互いから分離するために、第1及び第2の訓練分類子閾値を計算させ、
【0197】
第1及び第2の訓練分類子閾値に基づいて、分類子値の第1または第2の範囲内にあるように、ユーザが対象刺激または取消刺激にその後露出される間に受信されたEEG信号を分類させ、
【0198】
その後受信されたEEG信号を分類子値の第1または第2の範囲のうちの1つに分類することに基づいて、ユーザが対象刺激または取消刺激に露出されたかどうかを判定させ、
【0199】
ユーザが対象刺激または取消刺激にその後露出されたかどうかを判定した後に受信されたEEG信号に基づいて、保持−解除分類子値を計算させ、
【0200】
保持−解除分類子値と第1及び第2の訓練分類子閾値との比較に基づいて、ユーザが、対象刺激と関連付けられた動作を保持することまたは取消刺激に切り換えることによって動作を解除することを決定したかどうかを特定させる、非一時的な有形のコンピュータ可読媒体。
【0201】
19.プロセッサによって実行されるときに、プロセッサに、
【0202】
ユーザが対象刺激と関連付けられた動作の保持を決定したことが判定されるときに、1つ以上の動作を実行させ、
【0203】
ユーザが取消刺激に切り換えることによって動作の解除を決定したことが判定されるときに、1つ以上の動作の実行を停止させる命令を更に含む、請求項18に記載の非一時的な有形のコンピュータ可読媒体。
【0204】
20.ユーザが選択された動作の保持を決定するかどうかを特定させる命令が、プロセッサによって実行されるときに、プロセッサに、
【0205】
保持−解除分類子値が第1の訓練分類子閾値よりも大きいときに、対象刺激と関連付けられた動作を保持するというユーザの決定を特定させる命令を更に含む、請求項18〜19のいずれかに記載の非一時的な有形のコンピュータ可読媒体。
【0206】
21.ユーザが選択された動作の解除を決定するかどうかを特定させる命令が、プロセッサによって実行されるときに、プロセッサに、
【0207】
保持−解除分類子値が第2の訓練分類子閾値よりも小さいときに、対象刺激と関連付けられた動作を解除するというユーザの決定を特定させる命令を更に含む、請求項18〜20のいずれかに記載の非一時的な有形のコンピュータ可読媒体。
【0208】
22.プロセッサによって実行されるときに、プロセッサに、
【0209】
ユーザが対象刺激と関連付けられた動作を保持することを決定したという判定後に受信されたEEG信号に基づいて、追加の保持−解除分類子値を生成させ、
【0210】
ユーザが対象刺激と関連付けられた動作を保持することを決定したことを、
【0211】
保持−解除分類子値が追加の保持−解除分類子値よりも大きいとき、
【0212】
保持−解除分類子値及び追加の保持−解除分類子値が共に正であるとき、ならびに
【0213】
保持−解除分類子値及び追加の保持−解除分類子値が共に第1の訓練分類子閾値よりも小さいときに、判定させる命令を更に含む、請求項18〜21のいずれかに記載の非一時的な有形のコンピュータ可読媒体。