特許 7462126 脳波信号から被験者の視覚的注意の集中を決定する方法、コンピュータプログラム、コンピュータシステムおよび脳波信号から被験者の視覚的注意の集中を決定するシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-28

(45)【発行日】2024-04-05

(54)【発明の名称】脳波信号から被験者の視覚的注意の集中を決定する方法、コンピュータプログラム、コンピュータシステムおよび脳波信号から被験者の視覚的注意の集中を決定するシステム

(51)【国際特許分類】

   A61B 5/372 20210101AFI20240329BHJP

   A61B 5/378 20210101ALI20240329BHJP

   G06F 3/01 20060101ALI20240329BHJP

【ＦＩ】

A61B5/372

A61B5/378

G06F3/01 515

【請求項の数】 14

(21)【出願番号】P 2022127543

(22)【出願日】2022-08-10

(62)【分割の表示】P 2020535297の分割

【原出願日】2018-09-06

(65)【公開番号】P2022163153

(43)【公開日】2022-10-25

【審査請求日】2022-08-10

(31)【優先権主張番号】1758305

(32)【優先日】2017-09-08

(33)【優先権主張国・地域又は機関】FR

(73)【特許権者】

【識別番号】523457660

【氏名又は名称】ネクストマインド エスエーエス

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】クアイダー、シド

(72)【発明者】

【氏名】レオネッティ、ジャン－モーリス

(72)【発明者】

【氏名】バラスカッド、ニコラス

(72)【発明者】

【氏名】ゼラファ、ロビン

【審査官】▲高▼原 悠佑

(56)【参考文献】

【文献】特表２０１３－５０７１７４（ＪＰ，Ａ）

【文献】米国特許出願公開第２００５／００８８６１７（ＵＳ，Ａ１）

【文献】特開２０１１－０１５７８８（ＪＰ，Ａ）

【文献】特開２０１５－２２６７２３（ＪＰ，Ａ）

【文献】Guangyu Bin et al.，An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method，JOURNAL OF NEURAL ENGINEERING，2009年06月03日，第１頁－６頁，doi:10.1088/1741-2560/6/4/046002

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／３７８

(57)【特許請求の範囲】

【請求項1】

コンピュータにより実行する方法であって、
少なくとも１つの変調信号の組から、表示すべき少なくとも１つの、ソフトウェアアプリケーションにおけるユーザインターフェースの視覚刺激の組を生成するステップ（４１１）と、
再構成変調信号を得るために、被験者が前記ユーザインターフェースを見ているとき当該被検者から得られる脳波信号からの変調信号を再構成するステップ（４１４）と、
前記再構成変調信号と、前記少なくとも１つの変調信号の組の中の対応する変調信号と、の間の統計的相関度を計算するステップ（４１５）と、
前記統計的相関度に基づいて、少なくとも１つの特定視覚刺激を、前記被験者が集中したオブジェクトとして特定するステップと、
前記特定視覚刺激を特定するステップに応答して、前記視覚刺激に関連するソフトウェアアプリケーションの１つ以上のオペレーションを実行するステップと、
を含み、
前記視覚刺激の組を生成するステップ（４１１）は、前記少なくとも１つの変調信号の中の対応する変調信号に基づいて、少なくとも１つの図形オブジェクトに時間的に連続する基本変換を適用することにより実行され、
前記少なくとも１つの変調信号の組は、複数の変調信号を含み、
前記複数の変調信号は独立したペアであり、時間領域および／または周波数領域で測定された、任意の２つの異なる変調信号間の依存性が最小または所定の閾値未満であるように構成されることを特徴とする方法。

【請求項2】

前記少なくとも１つの視覚刺激の組は、複数の視覚刺激を含み、
前記複数の変調信号の中から、前記再構成変調信号との統計的相関度が最大となる変調信号を探索するステップ（４１５）と、
前記複数の変調信号の中から、前記統計的相関度が最大の変調信号に相当する特定視覚刺激を特定するステップ（４１５）と、をさらに含み、
前記複数の変調信号は、前記複数の変調信号の中から、２つの異なる視覚刺激に相当する変調信号のすべてのペアに関し、時間領域または周波数領域で決定された全統計的相関度が第２の閾値より小さい変調信号から構成されることを特徴とする、請求項１に記載の方法。

【請求項3】

前記再構成するステップは、脳波信号に再構成モデルを適用することによって実行されることを特徴とする、請求項１または２に記載の方法。

【請求項4】

前記再構成モデルは、複数の脳波信号の結合のパラメータを含み、
初期学習フェーズで、前記複数の脳波信号の結合のパラメータの値を決定するステップをさらに含むことを特徴とする、請求項３に記載の方法。

【請求項5】

複数の視覚刺激の中の少なくとも１つの視覚刺激のサブセットに適用される初期学習フェーズで、
前記少なくとも１つの視覚刺激のサブセットの中の各視覚刺激に関し、関心対象の視覚刺激に自分の注意を集中する被験者によって生成された試験脳波信号を取得するステップと、
前記複数の脳波信号の結合のパラメータの最適値を決定するステップと、をさらに含み、
前記最適値は、視覚刺激に関して記録された前記試験脳波信号に前記再構成モデルを適用することにより、関心対象の視覚刺激に相当する変調信号を最もよく近似する再構成変調信号を生成することができる値であることを特徴とする、請求項４に記載の方法。

【請求項6】

前記変調信号の各々は、基本変換の図形オブジェクトへの適用の少なくとも１つのパラメータの変化を時間の関数として定義することを特徴とする、請求項１から５のいずれかに記載の方法。

【請求項7】

前記基本変換の図形オブジェクトへの適用のパラメータの１つは、基本変換の変換度または適用度であることを特徴とする、請求項６に記載の方法。

【請求項8】

前記基本変換は、光強度の変化、コントラストの変化、色の変化、幾何学的変形、回転、振動、経路に沿った運動、形の変化、図形オブジェクトの変化、またはこれらの組合せを含む変換の組の中の変換であることを特徴とする、請求項１から７のいずれかに記載の方法。

【請求項9】

コンピュータプログラムであって、データプロセッサで実行されるとき、請求項１から８のいずれかに記載の方法の実行を命令するプログラムコードを含むコンピュータプログラム。

【請求項10】

コンピュータシステムであって、請求項１から７のいずれかに記載の方法を実行するためのコンピュータプログラムのコード命令を記憶する少なくとも１つのメモリと、
前記コンピュータプログラムを実行する少なくとも１つのデータプロセッサと、を備えるコンピュータシステム。

【請求項11】

システムであって、
ソフトウェアアプリケーションのユーザインターフェースの表示信号生成装置（１１０）と、
信号処理装置（１２０）と、を備え、
前記表示信号生成装置（１１０）は、少なくとも１つの変調信号の組から、前記少なくとも１つの変調信号の中の対応する変調信号に基づいて、少なくとも１つの図形オブジェクトに時間的に連続する基本変換を適用することにより、表示すべき少なくとも１つの、ソフトウェアアプリケーションにおけるユーザインターフェースの視覚刺激の組を生成するように構成され、
前記信号処理装置（１２０）は、
－被験者が前記ユーザインターフェースを見ているとき生成された複数の脳波信号を取得し（４１１）、
－複数の脳波信号からの変調信号を再構成することにより、再構成変調信号を取得し（４１４）、
－前記再構成変調信号と、前記少なくとも１つの変調信号の組の中の対応する変調信号と、の間の統計的相関度を計算し（４１５）、
－前記統計的相関度に基づいて、少なくとも１つの特定視覚刺激を、前記被験者が集中したオブジェクトとして特定し、
－前記特定視覚刺激を特定することに応答して、前記視覚刺激に関連するソフトウェアアプリケーションの１つ以上のオペレーションを実行し、
前記少なくとも１つの変調信号の組は、複数の変調信号を含み、
前記複数の変調信号は独立したペアであり、時間領域および／または周波数領域で測定された、任意の２つの異なる変調信号間の依存性が最小または所定の閾値未満であるように構成されることを特徴とするシステム。

【請求項12】

前記少なくとも１つの視覚刺激の組は、複数の視覚刺激を含み、
前記信号処理装置（１２０）は、
－前記複数の変調信号の中から、前記再構成変調信号との統計的相関度が最大となる変調信号を探索し（４１５）、
－前記統計的相関度が最大の変調信号に相当する視覚刺激を特定し（４１５）、
前記複数の変調信号は、２つの異なる視覚刺激に相当する変調信号のすべてのペアに関し、時間領域または周波数領域で決定された全統計的相関度が第２の閾値より小さい変調信号から構成されることを特徴とする、請求項１１に記載のシステム。

【請求項13】

前記再構成は、前記複数の脳波信号に再構成モデルを適用することによって実行されることを特徴とする、請求項１１または１２に記載のシステム。

【請求項14】

前記再構成モデルは、複数の脳波信号の結合のパラメータを含み、
前記結合のパラメータは、初期学習フェーズで、前記複数の脳波信号から決定されることを特徴とする請求項１３に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、脳波信号から被験者の視覚的注意の集中を決定する方法、コンピュータプログラム、コンピュータシステムおよび脳波信号から被験者の視覚的注意の集中を決定するシステムに関する。

【背景技術】

【0002】

脳波信号（ＥＥＧ信号）を記録し、複数のアプリケーションで利用するための様々なポータルシステムが出現している。特に、ＥＥＧ信号を記録するシステムの小型化と、ＥＥＧのリアルタイムなデコードに使われる分析技術の著しい発展は、高信頼で高速な新しいアプリケーションを予測させる。

【0003】

ある種のデコード技術は、ＥＥＧから電気生理学的特性を抽出することに基づく。これにより、現在の脳の活動と環境内の視覚刺激との関係を予測することができる。この場合の難しさは、被験者が他の多くの視覚入力に比べて特に注意を集中させる視覚刺激の特徴を、ＥＥＧ信号内でリアルタイムに特定することにある。視覚刺激に相当するコマンドを十分な速度と精度で起動できるためには、こうしたデコードは、ロバスト、すなわち被験者がどの特徴的内容に注意を集中させるかを決定できる必要がある。

【0004】

特許文献ＵＳ８３９１９６６Ｂ２は、被験者の観察刺激によって生成されたＥＥＧ信号を分析する技術を開示している。ここでは各刺激は、所定の周波数で明滅する光源で構成される。所定の時刻に観察された視覚刺激を特定する目的で、ＥＥＧ信号を分類し、異なる刺激に対応するクラスに分けるするための様々な特徴が生成される。

【0005】

第１の特徴の組を作るために、ＥＥＧ信号は、例えば連続的なセグメントに分けられ、所定の信号のセグメントのペア同士の相関係数が計算される。ユーザが当該刺激を観察しているか否かを判断するために、平均相関係数が計算された後、これが閾値と比較される。さらに、第２の特徴の組を生成するために、ＥＥＧ信号と刺激との間の相関が分析されてもよい。被験者が実際にこの刺激を観察しているとき、刺激との相関度は大きくなるだろう。自己回帰モデルの係数が、平均ＥＥＧ信号から計算される。このモデルの係数は、第３の特徴の組を形成する。

【発明の概要】

【発明が解決しようとする課題】

【0006】

この技術は、閾値に基づく判別方法、最近傍探索、ニューラルネットワーク等に関連する複数の特徴の組を用いて、ＥＥＧの事前分類を行うことを前提とする。これは、使用される特徴と採用される分類方法の妥当性に依存する。

【0007】

さらにこの技術は、明滅する光の刺激に限定される。従って、応用範囲が著しく限定される。

【0008】

他の方法も知られている。例えば、Guangyu Bin他の「An online multi-channel SSVEP-based brain computer interface using canonical correlation analysis method」（(Journal of Neural Engineering, IOP Publishing, 2009）は、修正された正準相関分析（ＣＣＡ）を用いている。

【0009】

このように、ユーザとソフトウェアアプリケーション（例えば、テキスト、画像、および／または、メニュー）との間の、脳－マシンインタフェースに適用可能な、高信頼でリアルタイムのＥＥＧデコード技術が求められる。

【課題を解決するための手段】

【0010】

第１の態様では、本開示の主題は、脳波信号から被験者の視覚的注意の集中を決定する方法である。この方法は、少なくとも１つの図形オブジェクト、少なくとも１つの基本変換および少なくとも１つの変調信号の組から、表示すべき少なくとも１つの視覚刺激の組を生成するステップと、被験者によって生成された複数の脳波信号からの変調信号を再構成して、再構成変調信号を生成するステップと、再構成変調信号と、少なくとも１つの変調信号の組の中の各変調信号と、の間の統計的相関度を計算するステップと、統計的相関度が第１の閾値より大きい変調信号に相当する少なくとも１つの視覚刺激を特定するステップと、を含む。視覚刺激は、図形オブジェクトに時間的に連続する基本変換を適用することにより取得された、動画化された図形オブジェクトである。基本変換の各々は、対応する変調信号を用いて時間的にパラメータ表示される。

【0011】

第１の態様の方法は、脳波信号（ＥＥＧ）からの刺激再構成に基づくアプローチと、１つ以上の刺激を用いた励起法と、を組合せたハイブリッドデコーディング方法を含む。これらの刺激の各々は時間的特性を持ち、これらの刺激を観察する被験者の脳内で再生が可能である。なぜなら、これらの時間的特性はＥＥＧ信号内に発見でき、従ってＥＥＧ信号内で直接特定できるからである。このような組合せにより、生成された刺激へのＥＥＧ信号の感度（すなわち信号対雑音比）を改善し、リアルタイムで適用可能なロバストな解析方法を提供することができる。この方法は、１つ以上の視覚刺激に適用することができる。

【0012】

さらに、基本変換（例えば、光強度の変化、コントラストの変化、色の変化、幾何学的変形、回転、振動、経路に沿った運動、等）を使うことにより、様々な図形オブジェクトタイプの視覚刺激を提供することができる。これは、ユーザに対して同時に表示される複数の図形オブジェクトに関し、これらのオブジェクト間で区別が必要とされる多くのアプリケーションへの扉を開く。

【0013】

例えばこの技術は、ユーザが注意を集中させている英数字を特定する目的で、英数字のキーボード表示に適用可能であり、より一般的には、複数のロゴ、メニュー、図形オブジェクト等にも適用可能である。変調信号の周波数成分が概ね２５Ｈｚより低ければ、変調信号によって生成される変調は視覚の快適さに影響しない。例えば変調信号は、２Ｈｚから２０Ｈｚの周波数で繰り返される周期的パターンを持つ。この変調周波数は、刺激を表示するために使われるモニタのリフレッシュレート（一般的には６０Ｈｚより高い）に相当するサンプリング周波数でサンプリングされる。

【0014】

統計的相関に関する再構成および探索はリアルタイムで実行されてよい。これにより、被験者が注意を集中させる図形オブジェクトをリアルタイムに特定することができる。特に、変調信号を再構成するために、ＥＥＧ信号を様々な刺激に対応するクラスに事前に分類することが不要となる。

【0015】

第１の態様の１つ以上の実施の形態では、少なくとも１つの視覚刺激の組は、複数の視覚刺激を含み、少なくとも１つの変調信号の組は、複数の変調信号を含む。この実施の形態の方法は、複数の変調信号の中から、再構成変調信号との統計的相関度が最大となる変調信号を探索するステップと、統計的相関度が最大の変調信号に相当する視覚刺激を特定するステップと、をさらに含む。複数の変調信号は、２つの異なる視覚刺激に相当する変調信号のすべてのペアに関し、時間領域または周波数領域で決定された全統計的相関度が第２の閾値より小さい変調信号から構成される。

【0016】

第１の態様のさらなる実施の形態では、再構成は、複数の脳波信号に再構成モデルを適用することによって実行される。

【0017】

再構成モデルは、視覚刺激を生成するために使われる変調信号と、この視覚刺激に自分の注意を集中させる被験者の脳波信号反応と、の間に存在する数学的関係を確立する。再構成モデルは、ＥＥＧ信号から刺激のタイプに関する情報を抽出するものとして機能する。この関係は主に、被験者（ユーザとも呼ばれる）の頭骨上における、ＥＥＧ信号を取得するために使われる装具の電極の位置に依存する。特に、刺激の視覚的特性（タイプ、サイズ、位置、色、等）はこの関係にほとんど影響を与えない。

【0018】

再構成モデルは、ＥＥＧ信号を結合して変調信号を再構成することのできる、様々な（線形または非線形の）数学的モデルであってよい。変調信号は結合されるが、視覚刺激自体（すなわち、スクリーン上に表示される動画化された図形オブジェクト）は結合されないので、再構成を簡単かつ正確に行うことができる。例えばこの結合は、ＥＥＧ信号の簡単な線形結合であってよい。これは、動画化された図形オブジェクトの特性や意味内容に制約を加えない。

【0019】

再構成変調信号と１つ以上の様々な変調信号との間の統計的相関の探索もまた促進される。さらに１つ以上の視覚刺激は、任意の入手可能なスクリーン、例えばコンピュータスクリーン、タブレットスクリーン、電話端末のスクリーンなどの上に表示される。従って、刺激を与えるための専用のシステムを用意する必要はない。視覚刺激を生成するために変調信号を使うことで、統計的相関の探索と再構成を簡単に行うことができるだけでなく、本方法をフレキシブルで、動画化された図形オブジェクトタイプの任意の視覚刺激に適用可能とすることができる。

【0020】

第１の態様の１つ以上の実施の形態では、再構成モデルは、複数の脳波信号の結合のパラメータを含む。このとき本方法は、初期学習フェーズで、複数の脳波信号の結合のパラメータの値を決定するステップをさらに含む。

【0021】

第１の態様の１つ以上の実施の形態では、本方法は、複数の視覚刺激の中の少なくとも１つの視覚刺激のサブセットに適用される初期学習フェーズで、少なくとも１つの視覚刺激のサブセットの中の各視覚刺激に関し、関心対象の視覚刺激に自分の注意を集中する被験者によって生成された試験脳波信号を取得するステップと、複数の脳波信号の組み合わせのパラメータの最適値を決定するステップと、をさらに含む。この最適値は、視覚刺激に関して記録された試験脳波信号に前述の再構成モデルを適用することにより、関心対象の視覚刺激に相当する変調信号を最もよく近似する再構成変調信号を生成することができる値である。

【0022】

このようにＥＥＧ信号の結合のパラメータを決定することにより、再構成変調信号を高信頼に生成し、これを視覚刺激の生成に使われる再構成変調信号と比較することができる。この関係は時間的に安定で、視覚刺激や図形オブジェクトにあまり依存しない。従ってこれらのＥＥＧ信号の結合のパラメータは、被験者に提示されるその後のすべての視覚刺激に再利用することができる（たとえこれらの刺激が、学習フェーズにおいて再構成モデルを決定するために使われる刺激と異なるものであっても）。

【0023】

最後に、ある被験者が次の被験者に変わったとき、再構成モデルのパラメータは被験者ごとに調整されてよい。

【0024】

１つ以上の実施の形態では、基本変換は、光強度の変化、コントラストの変化、色の変化、幾何学的変形、回転、振動、経路に沿った運動、形の変化、図形オブジェクトの変化、またはこれらの組み合わせを含む変換の組の中の変換である。

【0025】

第２の態様では、本開示の主題は、コンピュータプログラムである。このコンピュータプログラムは、データプロセッサで実行されるとき、第１の態様の方法の実行を命令するプログラムコードを含む。

【0026】

第３の態様では、本開示の主題は、コンピュータシステムである。このシステムは、第１の態様の方法を実行するためのコンピュータプログラムのコード命令を記憶する少なくとも１つのメモリと、このコンピュータプログラムを実行する少なくとも１つのデータプロセッサと、を備える。

【0027】

第４の態様では、本開示の主題は、脳波信号から被験者の視覚的注意の集中を決定するシステムである。このシステムは、第１の態様の方法であって、前述の任意の実施形態の方法を実行する手段を備える。

【0028】

このシステムは特に、表示信号生成装置と、信号処理装置と、を備える。表示信号生成装置は、少なくとも１つの図形オブジェクト、少なくとも１つの基本変換および少なくとも１つの変調信号の組から、表示すべき少なくとも１つの視覚刺激の組を生成するように構成される。視覚刺激は、図形オブジェクトに時間的に連続する基本変換を適用することにより取得された、動画化された図形オブジェクトである。基本変換の各々は、対応する変調信号を用いて時間的にパラメータ表示される。信号処理装置は、前記被験者によって生成された複数の脳波信号を取得し、複数の脳波信号からの変調信号を再構成することにより、再構成変調信号を生成し、再構成変調信号と、少なくとも１つの変調信号の組の中の各変調信号と、の間の統計的相関度を計算し、統計的相関度が第１の閾値より大きい変調信号に相当する少なくとも１つの視覚刺激を特定するように構成される。

【0029】

第４の態様のシステムの１つ以上の実施の形態では、少なくとも１つの視覚刺激の組は、複数の視覚刺激を含む。少なくとも１つの変調信号の組は、複数の変調信号を含む。信号処理装置は、複数の変調信号の中から、再構成変調信号との統計的相関度が最大となる変調信号を探索し、統計的相関度が最大の変調信号に相当する視覚刺激を特定する。複数の変調信号は、２つの異なる視覚刺激に相当する変調信号のすべてのペアに関し、時間領域または周波数領域で決定された全統計的相関度が第２の閾値より小さい変調信号から構成される。

【図面の簡単な説明】

【0030】

前述の技術のその他の利点および特徴は、以下の図面を参照して詳細な説明を読むことで明らかになるだろう。

【図1A】実施の形態の一例に係る被験者の視覚的注意の集中をＥＥＧ信号から決定するシステムを模式的に示す。

【図1B】実施の形態の一例に係るコンピュータデバイスを模式的に示す。

【図2A】実施の形態の一例に係る視覚的注意の集中を決定するシステムおよび方法で使われるデータおよび信号を模式的に示す。

【図2B】視覚的注意の集中を決定するシステムおよび方法で使うことのできる変調信号の例を模式的に示す。

【図2C】視覚的注意の集中を決定するシステムおよび方法で使うことのできる変調信号の例を模式的に示す。

【図2D】視覚的注意の集中を決定するシステムおよび方法で使うことのできる変調信号の例を模式的に示す。

【図2E】視覚的注意の集中を決定するシステムおよび方法で使うことのできる変調信号の例を模式的に示す。

【図3】視覚的注意の集中を決定するシステムおよび方法の態様を模式的に示す。

【図4A】実施の形態の一例に係るＥＥＧ信号の再構成モデルを生成する方法のフローチャートである。

【図4B】実施の形態の一例に係る被験者の視覚的注意の集中を決定する方法のフローチャートである。

【図5】動画化された図形オブジェクトの例を示す。

【図6】視覚刺激の例を示す。

【図7】被験者の視覚的注意の集中を決定するシステムおよび方法の応用の例を示す。

【0031】

図面を参照して説明される様々な実施の形態で、類似または同一の要素には同じ符号を付す。

【発明を実施するための形態】

【0032】

以下の説明は、方法、システムおよびプログラムを説明する機能、機能的ユニット、実体、ブロック図およびフローチャートを参照して与えられる。機能、機能的ユニット、実体およびフローチャートのステップは、ソフトウェア、ハードウェア。ファームウェア、マイクロコード、またはこれらの技術の任意の組合せで実行されてよい。ソフトウェアが使われるときは、機能、機能的ユニット、実体またはステップは、コンピュータプログラム命令またはソフトウェアコードで実行されてよい。これらの命令は、コンピュータ読み取り可能なストレージ媒体に記憶または送信されてよく、および／または、これらの機能、機能的ユニット、実体またはステップを実行するためにコンピュータで実行されてもよい。

【0033】

以下の様々な実施の形態および態様は、複数の方法で組合せられるか、簡単化されてもよい。特に様々な方法のステップは、関心対象の各図形オブジェクト、および／または、関心対象の各ユーザ関して、繰り返されてもよい。ステップは、順序が逆転されてもよく、並列に実行されてもよく、および／または、様々なコンピュータで実行されてもよい。明確化のためにある種の実施例が詳細に説明するが、これらの実施例は、説明を明確にするという原理の一般的な範囲を限定することを意図しない。

【0034】

図１Ａに、被験者（以下「ユーザ」ともいう）の視覚的注意の集中を脳波信号から決定するシステム１００の実施の形態の一例を模式的に示す。

【0035】

１つ以上の実施の形態では、システム１００は、動画化された図形オブジェクトを表示するように構成された表示スクリーン１０５と、表示信号生成装置１１０と、信号処理装置１２０と、ＥＥＧ信号を取得する装具１３０と、装具１３０の制御装置１４０と、を備える。

【0036】

１つ以上の実施の形態では、表示信号生成装置１１０は、表示スクリーン１０５に表示される表示信号を生成するように構成される。これらの表示信号は、表示スクリーン１０５を用いてユーザ１０１に示されることが意図された複数の視覚刺激をエンコードする。

【0037】

１つ以上の実施の形態では、装具１３０は、ＥＥＧ信号を取得するように構成される。この装具は例えば、ユーザ１０１の頭と接触することが意図された電極を備えるヘッドキャップの形を取る。このようなヘッドキャップは例えば、電極を備えるＢｉｏｓｅｍｉ（登録商標）である。別のタイプの装具、例えば、Ｅｌｅｃｔｒｉｃａｌ Ｇｅｏｄｅｓｉｃｓ Ｉｎｃ．（登録商標）やＣｏｍｐｕｍｅｄｉｃｓ ＮｅｕｒｏＳｃａｎ（登録商標）によって販売されるＧｅｏｄｅｓｉｃＴＭ ＥＥＧ（登録商標）がある。これは通常１６個から２５６個の電極を備える。以下本明細書では、例として装具１３０はヘッドキャップであると仮定する。

【0038】

１つ以上の実施の形態では、信号処理装置１２０は、ＥＥＧ信号を取得するためのヘッドキャップ１３０によって取得されたＥＥＧ信号を処理するように構成される。

【0039】

１つ以上の実施の形態では、装具１３０を制御する装置１４０は、ヘッドキャップ１３０と信号処理装置１２０との間のインタフェースとして機能する装置である。制御装置１４０は、ＥＥＧ信号の取得を制御し、ヘッドキャップ１３０によって取得されたＥＥＧ信号を取得するように構成される。特に、ヘッドキャップ１３０を制御する装置１４０は、ＥＥＧ信号の取得を起動するコマンドを送信するように構成される。

【0040】

本明細書における表示信号を生成する装置１１０、信号処理装置１２０および制御装置１４０に関する機能のすべてまたは一部は、ソフトウェアおよび／またはハードウェアによって実行されてよく、データプロセッサおよびデータを記憶するための少なくとも１つのメモリを備えた少なくとも１つのコンピュータデバイスで実行されてよい。

【0041】

１つ以上の実施の形態では、装置１１０、１２０、１４０の各々およびここに記載される方法の各ステップは、１つ以上の物理的に別個のコンピュータデバイスで実行されてもよい。逆に、装置１１０、１２０、１４０は単一のコンピュータデバイスに統合されてもよい。同様に、ここに記載される方法の各ステップは、単一のコンピュータデバイスで実行されてもよい。ＥＥＧ信号を取得するための装具もまた、コンピュータデバイス（データプロセッサ、メモリ等）を備えてよく、ここに記載される方法の各ステップを実行するように構成されてよい。

【0042】

各コンピュータデバイスは全体として、コンピュータアーキテクチャの部品、１つ以上のデータメモリ、１つ以上のプロセッサ、通信バス、１つ以上のユーザインタフェース、ネットワークやその他の装具と接続するための１つ以上のハードウェアインタフェースなどを含むコンピュータアーキテクチャを有する。

【0043】

図１Ｂに、このようなアーキテクチャの例を示す。このアーキテクチャは、１つ以上のデータプロセッサを含む処理ユニット１８０、少なくとも１つのメモリ１８１、１つ以上のデータストレージ媒体１８２、ネットワークインタフェースや周辺機器インタフェースなどのハードウェアインタフェース１８３、およびマウス、キーボード、ディスプレイなどの１つ以上の入力／出力装置を含む１つ以上のユーザインタフェース１８４を備える。データストレージ媒体１８２は、コンピュータプロブログラム１８６のコード命令を備える。このようなストレージ媒体１８２は、コンパクトディスク（登録商標）（ＣＤ（登録商標）、ＣＤ－Ｒ（登録商標）、ＣＤ－ＲＷ（登録商標））、ＤＶＤ（登録商標）（ＤＶＤ－ＲＯＭ（登録商標）、ＤＶＤ－ＲＷ（登録商標））、ブルーレイ（登録商標）ディスクなどの光学記憶媒体や、ハードディスク、フラッシュメモリ、磁気テープ、フロッピー（登録商標）ディスクなどの磁気記憶媒体や、ＵＳＢ（登録商標）キー、ＳＤ（登録商標）、ｍｉｃｒｏ－ＳＤ（登録商標）メモリカードなどの取り外し可能媒体であってよい。メモリ１８１は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、キャッシュメモリ、不揮発性メモリ、バックアップメモリ（例えばフラッシュまたはプログラマブルメモリ）、リードオンリーメモリまたはこれらのタイプのメモリの組合せであってよい。処理ユニット１８０は、計算ハードウェアに基づく少なくとも１つのプロセッサを備える任意のマイクロプロセッサ、ＩＣまたはＣＰＵであってよい。

【0044】

図２Ａに、視覚的注意の集中を決定するシステムおよび方法で使われるデータおよび信号を模式的に示す。ここで対応する符号を導入する。

【0045】

１つ以上の実施の形態では、ユーザ１０１に示されることが意図された複数の図形オブジェクトＯ１、Ｏ２、…、ＯＮが使われる。これらの図形オブジェクトの各々は、英数字（数字または文字その他の記号）、ロゴ、画像、テキスト、ユーザインタフェースメニューの要素、ユーザインタフェースボタン、アバター、３Ｄオブジェクトなどであってよい。これらの図形オブジェクトの各々は、ビットマップまたはベクター画像でコード化されてよい。

【0046】

１つ以上の実施の形態では、図形オブジェクトＯ１、Ｏ２、…、ＯＮに適用されるために、１つ以上の基本変換Ｔ１、Ｔ２、…、ＴＰが定義される。基本変換は、光強度の変化、コントラストの変化、色の変化、幾何学的変形、回転、振動、平面または３次元経路に沿った運動、形の変化、さらには図形オブジェクトの変化であってよい。図形オブジェクトの変化は例えば、図形オブジェクトを同じカテゴリの他の図形オブジェクトに置き換える変換に相当してもよい。例えば、文字（例えばＡ）を他の文字（例えばＢ）に置き換える、数を他の数に置き換える、ロゴを他のロゴに置き換える、といった置き換えである。基本変換は、上記の複数の基本変換の組合せであってもよい。

【0047】

これらの基本変換の各々はまた、少なくとも１つの適用のパラメータを用いてパラメータ表示されてもよい。

【0048】

１つ以上の実施の形態では、適用のパラメータは、基本変換の変換度を所定のスケールで定義する。例えば、０から１００のスケールや－１００から＋１００のスケールが使われる。

【0049】

例えば基本変換が光強度の変化である場合、この強度の変化は、０から１００の値を持つ変換度で与えられてよい。このとき、変換度が０は、図形オブジェクトをコード化する画像が変化していないことを示す。変換度が１００は、この画像が完全に白か、逆に黒に変化したことを示す。変換度を０と１００との間で変化させることにより、画像が明滅する効果が得られる。

【0050】

別の例では、基本変換がコントラストの変化である場合、このコントラストの変化は、０から１００の値を持つ変換度で与えられてよい。このとき、変換度が０は、図形オブジェクトをコード化する画像が変化していないことを示す。変換度が１００は、画像のコントラスが最大となった（例えば画像がグレースケールでコード化された場合、画像が白黒となった）ことを示す。

【0051】

同様に、モーフィング型の幾何学的変形では、変換度はモーフィングの度合いに相当してよい。回転の場合、変換度は回転の角度に相当してよい。振動の場合、変換度は振動率および／または振動強度に相当してよい。経路上の運動の場合、変換度は、経路上の移動距離および／または運動の速度に相当してよい。形の変化の場合、変換度は、ある形から他の形への移行の度合いおよび／または強さに相当してよい。オブジェクトのカテゴリの変化の場合、変換度は、あるカテゴリから他のカテゴリへの移行の度合いおよび／または強さに相当してよい。

【0052】

図形オブジェクトＯ１、Ｏ２、…、ＯＮの各々について、対応する変調信号ＳＭ１、ＳＭ２、…ＳＭＮが生成される。変換信号は、変化を、関心対象の図形オブジェクトに適用される基本変換の１つ以上の適用のパラメータにおける時間の関数として定義するために機能する。例えば、時刻ｔにおける変換度ｄｉ（ｔ）は、変換信号ＳＭｉの時刻ｔにおける強度ＳＭｉ（ｔ）で定義される。

【0053】

１つ以上の実施の形態では、対応する図形オブジェクトＯ１、Ｏ２、…、ＯＮに関して、動画化された図形オブジェクトＯＡ１、ＯＡ２、…ＯＡＮが１つずつ生成される。このように生成された動画化された図形オブジェクトＯＡ１、ＯＡ２、…ＯＡＮは、表示スクリーン１０５に表示される。

【0054】

１つ以上の実施の形態では、視覚刺激は、動画化された図形オブジェクトＯＡｉである。この動画化された図形オブジェクトＯＡｉは、一連の基本変換ＳＴｉを、対応する図形オブジェクトＯｉ（ｉは１以上Ｎ以下の整数）に適用することによって得られる。一連の基本変換ＳＴｉは、対応する変調信号ＳＭｉによって時間的にパラメータ表示されたものである。このように、対応する基本変換Ｔｉを、変換度ｄｉ（ｔｚ）で図形オブジェクトＯｉに適用することにより、時間インターバル［ｔｍｉｎ、ｔｍａｘ］での時刻の不連続なつらなりｔ０、ｔ１、…ｔｚ、…の各時刻ｔｚで、変形された図形オブジェクトＯＡｉ（ｔｚ）が生成される。変換度ｄｉ（ｔｚ）は、時刻ｔｚにおける、対応する図形オブジェクトＯｉへの変調信号ＳＭｉの強度ＳＭｉ（ｔｚ）に相当する。このように動画化された図形オブジェクトは、変形された図形オブジェクトＯＡｉ（ｔｚ）の時間的つらなりに相当する。ここでｔｚは、時間インターバル［ｔｍｉｎ、ｔｍａｘ］で変化する。

【0055】

１つ以上の実施の形態では、ＥＥＧ信号を取得するための装具１３０を用いて、Ｅ１、Ｅ２、…、ＥＸで表されるＥＥＧ信号が取得される。ＥＥＧ信号Ｅ１、Ｅ２、…、ＥＸから、再構成変調信号ＳＭＲが生成される。

【0056】

１つ以上の実施の形態では、再構成変調信号ＳＭＲは、再構成モデルＭＲを信号Ｅ１、Ｅ２、…、ＥＸに適用することにより生成される。再構成モデルＭＲのパラメータをＰ１、Ｐ２、…、ＰＫと表す。

【0057】

再構成モデルＭＲは線形モデルであってよい。このとき、変調信号は、信号Ｅ１、Ｅ２、…、ＥＸの線形結合である。

【0058】

より複雑なモデル、特にニューラルネットワークベースのモデルが使われてもよい。

【0059】

１つ以上の実施の形態では、変調信号は、基本信号で構成される。これらの基本信号は、方形波、三角は、正弦波などであってよい。変調信号は、異なる持続時間を有してよい。１つ以上のさらなる実施の形態では、変調信号は、周期的であってよい。このとき、時間的パターンは、各変調信号によって周期的に再生成される。変調信号は、例えば周波数２から２０ｋＨｚで繰り返す周期的な時間的パターンを持つ。この変調信号は、変調信号から生成された視覚刺激（すなわち、動画化された図形オブジェクト）が表示されるスクリーンのリフレッシュ周波数（通常は６０ｋＨｚより高い）に相当するサンプリング周波数でサンプリングされる。

【0060】

変調信号ＳＭｉの強度は、変換の強度の度合いを定義するために機能する。変調信号ＳＭｉの強度と変換の強度の度合いとの関係は、線形でなくてもよい。変調信号ＳＭｉの強度は、最小値（第１の変換に相当する）と最大値（第２の変換に相当する）との間で変化してもよい。

【0061】

１つ以上の実施の形態では、こ変調信号は独立したペアである。すなわち変調信号は、時間領域および／または周波数領域で測定された、任意の２つの異なる変調信号間の依存性が最小（例えばゼロ）または所定の閾値ＳＣ１未満であるように構成される。２つの信号間の依存性は、統計的相関度によって定量化されてよい。２つの信号間の統計的相関度は、例えば、時間領域で時間的相関係数を用いて、および／または、周波数領域でスペクトルコヒーレンスの度合いを用いて計算されてよい。

【0062】

１つ以上の実施の形態では、異なる視覚刺激に相当する変調信号の各ペアに関し、変調信号は時間的に相関が失われたペアであってよい。

【0063】

１つ以上の実施の形態では、異なる視覚刺激に相当する変調信号の各ペアに関して、統計的相関度が計算されてよい。その後、変調信号のすべてのペアに関して、全統計的相関度（例えば、統計的相関度の平均、統計的相関度の最大値、または統計的相関度の蓄積）が計算されてよい。変調信号は、この全統計的相関度を最小化する変調信号、または、取得されるべき所定の閾値ＳＣＩ未満の全統計的相関度を探索することによって、決定される。

【0064】

１つ以上の実施の形態では、変調信号の各ペアに関して計算された統計的相関度であって、異なる視覚刺激に相当するものは、ゼロまたは閾値ＳＣＩ未満である。

【0065】

１つ以上の実施の形態では、２つの変調信号間の統計的相関度は、これらの信号間の時間的相関係数となるように計算されてよい。ここで２つの信号ＸとＹとの間の相関係数ρ（Ｘ、Ｙ）は、ピアソンの公式を用いて計算されてよい。

【数1】

ここでＥは信号の予想値、σはその標準偏差である。時間的相関係数は０から１の値を取る。値０は、時間的に相関していない信号に相当する。

【0066】

変調信号間の統計的相関度は、スピアマンの相関係数やケンドールの相関係数のような他の数学的基準を用いて決定されてよく、あるいは相互情報のような統計的相関度に置き換えられてもよい。

【0067】

信号ｘ（ｔ）とｙ（ｔ）との間のスペクトルコヒーレンス度は、例えば以下の比で定義される実数値関数である。

【数2】

ここでＧｘｙ（ｆ）は、ｘとｙの間の交差スペクトル密度、Ｇｘｘ（ｆ）とＧｙｙ（ｆ）は、それぞれｘとｙのパワースペクトル密度である。

【0068】

１つ以上の実施の形態では、統計的相関度は、参照期間（例えば再構成ウィンドウ（ステップ４１４を参照）および／またはデコーディングウィンドウ（ステップ４１５を参照）の持続時間に相当する期間）に計算される。

【0069】

異なる視覚刺激に相当する変調信号のすべてのペアに関して、全統計的相関度（例えば、統計的相関度の平均、統計的相関度の最大値、または統計的相関度の蓄積）がゼロ（例えば時間的に相関していない信号）または閾値ＳＣＩ（例えば０．２、すなわち２０％）未満であるとき、変調信号間を効果的に識別することができる。全統計的相関度が小さければ小さいほど、被験者が注意を集中させた刺激によって観察された視覚刺激を簡単かつ効果的に識別することができる。一組の変調信号内の変調信号（これはオブジェクトにより観察された視覚刺激を生成するものとして機能する）の識別エラー率（ステップ４１５で識別された視覚刺激が、実際にはその被験者が注意を集中させたものでない場合のパーセンテージに相当する）もまた、上記に対応してより弱くなる。閾値ＳＣＩは、どのタイプの変調信号を選ぶかに依存してよい。実際、最大識別エラー率（例えば所定のアプリケーションに関して許容できる確率）を設定しておき、識別エラー率が常に最大識別エラー率未満となるように変調信号を調整することができる。ここで、再構成（ステップ４１４を参照）が理想的（すなわち、各時刻において、再構成された信号が変調信号ＳＭｉの１つと一致する）であったとしても、デコーディング（ステップ４１５を参照）の品質は変調信号間の統計的相関度に依存することが理解できるだろう。なぜなら、変調信号ＳＭｉが完全従属だと、ある変調信号ＳＭｉを、他と変調信号と違うものとして選択することができないからである。

【0070】

図２Ｂ、２Ｃ、２Ｄおよび２Ｅの各々に、視覚刺激を生成するために視覚的注意を決定するシステム内の一組の変調信号を模式的に示す。

【0071】

図２Ｂに、互いに時間的に相関しない１０個の変調信号（信号１から信号１０）の第１の典型的な組を示す。これら１０個の信号は、１Ｈｚから２Ｈｚで０．２Ｈｚずつ異なる周波数（従って異なる波長）を持つ周期的な正弦波である。従って、この第１の組の中のどの２つの信号も同じ周波数を持たない。これらの信号の位相は重要ではない。図２Ｂに示される例では、これらの信号の強度は０％から１００％の間で変化する。すなわち、対応する変換度は（好適な比例係数で）最小値と最大値との間で変化する。これらの１０個の変調信号の組の中のすべてのペアに関し、スペクトルオーバーラップ度はゼロ（共通の周波数成分がない）で、変調信号のすべての組における時間相関係数の最大値は０．２である。この時間相関係数は、４秒の相関ウィンドウ内で計算される。

【0072】

図２Ｃに、互いに時間的に相関しない１０個の変調信号（信号１から信号１０）の第２の典型的な組を示す。これら１０個の信号は、１Ｈｚから２Ｈｚで０．２Ｈｚずつ異なる周波数（従って異なる波長）を持つ周期的な方形波である。従って、この第２の組の中のどの２つの信号も同じ周波数を持たない。これらの信号の位相は重要ではない。図２Ｂと同様に、これらの信号の強度は０％から１００％の間で変化する。すなわち、対応する変換度は（好適な比例係数で）最小値と最大値との間で変化する。いくつかの調和成分が共通であれば、これらの１０個の変調信号の組の中のすべてのペアに関し、スペクトルオーバーラップ度はゼロでなくてもよい。しかし、変調信号のすべての組における時間相関係数の最大値は０．１７である。この時間相関係数は、４秒の相関ウィンドウ内で計算される。

【0073】

図２Ｄに、互いに時間的に相関しない１０個の変調信号（信号１から信号１０）の第３の典型的な組を示す。これら１０個の信号は、同じ周期（図２Ｄでは「参照周期」と呼ばれる）を持つ周期的な信号で、基本的な方形波信号からなる。この第３の組の中のどの２つの信号の時間的パターンも、参照周期の中で異なる。この場合、各信号の位相は、異なる変調信号（この１０個の変調信号の組から選択される）の各ペアに関し時間相関係数と統計的相関度が最大値を取るように、時間相関係数と統計的相関度を制限するように調整されなければならないという点で重要である。図２Ｂと同様に、これらの信号の強度は０％から１００％の間で変化する。すなわち、対応する変換度は（好適な比例係数で）最小値と最大値との間で変化する。

【0074】

図２Ｅに、互いに時間的に相関しない９個の変調信号（信号１から信号９）の第４の典型的な組を示す。これらの信号は、同じ周期（図２Ｅでは「参照周期」と呼ばれる）を持つ周期的信号である。各変調信号は、短方形波パルスからなる時間的パターンを備える。これは、１００％の強度と、その後のより持続時間の長い０％の強度が続くパターンとからなる。この様々な視覚変調信号の方形波パルスは、他の方形波パルスに関して時間的にオフセットされる。従って、所定の時刻である１つの変調信号が１００％強度を持つとき、他の変調信号は０％の強度を持つ。これらの変調信号は、すべて同じ形で互いに位相のずれた時間的パターンからなる。各信号の位相を調整することにより、２つの信号間の時間相関および統計的相関度の係数を制御することができる。使われる変換関数が明度を変化させる関数（すなわち、変調信号１００％のとき図形オブジェクトが見えて（明度が不変）、変調信号０％で見えない（明度がゼロ））の場合、（これらの変調信号およびこの基本的な変換により得られる）動画化された図形オブジェクトは、所定の順序で出現したり消滅したりする（所定の時刻に１つの視覚刺激が見える）ことで明滅する。この１０個の変調信号のすべてのペアに関し、時間的相関係数はゼロである。

【0075】

従って、変調信号の各ペアに関し、異なる周波数、位相または時間的パターンを使うことによって、時間的に非相関な変調信号を得ることができる。例えば、
－異なる周波数（従って周期）を持つ、同じ形の周期的な時間的パターンからなる信号。位相は重要ではない（図２Ｂおよび２Ｃの場合）。
－異なる時間的パターンからなる、周期的な信号。選択的に、同じ持続時間（すなわち信号期間）を持つ。時間的パターンごとに特有な位相を持つ（図２Ｄの場合）。
－同じ周期を持つ、同じ形の周期的な時間的パターンからなる信号。各パターンの位相は互いにずれている（図２Ｅの場合）。

【0076】

図３に、視覚的注意の集中を決定する方法およびシステムの態様を模式的に示す。

【0077】

１つ以上の実施の形態では、統計的相関度が最大となる変調信号を探索するために、再構成変調信号ＳＭＲは、変調信号ＳＭ１、ＳＭ２、…、ＳＭＮの各々と比較される。例えば、変調信号ＳＭ４の統計的相関度が最大であった場合、これは、被験者の視覚的注意が、変調信号ＳＭ４から生成された視覚刺激ＯＡ４に集中されることを意味する。

【0078】

図３に示される例では、視覚刺激は０番から９番までがあり、被験者の視覚的注意は視覚刺激ＯＡ４に相当する４番に集中される。統計的相関度の最大値は、対応する変調信号ＳＭ４で発見される。

【0079】

図４Ａに、再構成モデルＭＲを生成する方法の一例を模式的に示す。この方法のステップは経時的に示されるが、特定の少なくとも１つのステップが割愛されても、異なる順序で実行されても、並行に実行されても、単一のステップとするために組み合わされてもよい。

【0080】

ステップ４０１で、変調信号ＳＭｉから生成された視覚刺激で試験ｉ（ｉ∈［１；N］）が実行される。視覚刺激は表示スクリーンに表示される。被験者はこの視覚刺激を観察することが、すなわちこの視覚刺激に視覚的注意を集中させることが求められる。各視覚刺激は、図形オブジェクトに時間的に連続する基本変換（これらの基本変換の各々は、対応する変調信号を用いて、時間的にパラメータ表示される）を適用することにより取得された、動画化された図形オブジェクトである。被験者が関心対象の視覚刺激に注意を集中させている間、試験ＥＥＧ信号Ｅｉ，ｊが記録される。ここでｉは、試験とこれに対応する変調信号とを特定するインデックスである。ｊは、記録されたＥＥＧチャネルを特定する信号である。

【0081】

ステップ４０１の実行例では、明滅する数字（０から９まで）の形の１０個の視覚刺激が、スクリーン上に表示される。これらの各々は、若干異なる周波数で明滅する。被験者は、ＥＥＧヘッドキャップを装着し、１０個の数字が異なる周波数で明滅する表示スクリーンを観察する。試験は連続して実行される。各試験は、例えば１０分間続けられる。試験間のインターバルは、例えば１分または２分である。各試験において、被験者は、１つの数字に注意を集中し、他の数字は無視するように指示される。このように被験者は、１つの刺激から他の刺激に注意を切り替える。これにより、視覚的注意の集中に依存して、ＥＥＧ信号Ｅ１、Ｅ２、…、ＥＸが異なる周波数で生成される。

【0082】

実施の形態の第１の変形例では、ＥＥＧセグメントは、ステップ４０１でタイムスタンプが付される。変調信号もまた、ステップ４０１でタイムスタンプが付される。このタイムスタンプは、任意の方法で付されてよい。

【0083】

この第１の変形例では、ＥＥＧセグメントにタイムスタンプを付し、各ＥＥＧセグメントに関しタイムコードｔｉを生成するために、装具１３０のクロックが使われる。制御装置１４０のクロックは、変調信号にタイムスタンプを付し、刺激の中で所定の事象（例えば、スクリーン上での新たな視覚刺激の出現や、刺激の表示の開始に相当）が発生するたびにタイムコードｔｉ’を生成するために使われる。

【0084】

第２の変形例では、追加的なＥＥＧチャネルが使われる。刺激の中で所定の事象（例えば、スクリーン上での新たな視覚刺激の出現や、刺激の表示の開始に相当）が発生するたびに、この追加的なＥＥＧチャネルを通して、既知の強度の短い電気パルスが送信される。短いパルスを含むこの追加的なチャネルＥＥＧは、ＥＥＧデータのセグメントとともに保存される。

【0085】

ステップ４０１は、複数の視覚刺激の各々に関し、複数回繰り返す。これにより、被験者が関心対象の視覚刺激に注意を集中させたときに生成された、対応するＥＥＧ信号が記録される。

【0086】

ステップ４０２で、ＥＥＧセグメントＥｉ、ｊ、ｋおよび変調信号ＳＭｉが、時間的に調整される（または同期される）。この同期は任意の方法で実行されてよい。

【0087】

この同期は、ＥＥＧセグメントおよび変調信号のダブルタイムスタンプ、または追加的なＥＥＧチャネルを使ってもよい。

【0088】

このダブルスタンプが使われて、２つの異なるクロックを使ってタイムコードが生成されるときは、これらの値を補正する必要がある。これにより、同じ参照クロックにより生成された仮想的なタイムスタンプが得られる。これにより、クロック間の潜在的な時間ドリフトが修正される。例えば、参照クロックとして制御装置のクロックが使われるとき、取得装置のクロックにより生成された、タイムスタンプされたＥＥＧセグメントＥｉ、ｊ、ｋのタイムコードｔｉ’は、タイムコードｔｉ’を取得するための参照クロックに再同期される。これらの補正されたＥＥＧセグメントのタイムコードを変調信号のために生成されたタイムコードと関連付けることによって、ＥＥＧセグメントＥｉ、ｊ、ｋと変調信号ＳＭｉとの間で調整を実行することができる。

【0089】

制御装置１４０の参照クロック（ｔ）と、ＥＥＧデータを取得するための装具１３０の参照クロック（ｔ’）との差は、以下の一次式によってモデル化される。
ｄｉｆｆ＝ａ＊（ｔ’－ｔ０）＋ｂ＝ｔ’－ｔ
ここでａは２つのクロック間のドリフト、ｂはｔ’＝ｔ０でのオフセットである。これらの係数ａ、ｂを見積もるために、ステップ４０１の前に、一連のｘ点（ｔ’、ｄｉｆｆ（ｔ’））が取得される。その後、最小二乗法を用いて係数ａおよびｂが見積もられる。命令を実行し、制御装置１４０と装具１３０との間でデータを送信するのに要する時間の間に発生するランダム変動を補償するために、制御装置１４０を用いて各点（ｔ’、ｄｉｆｆ（ｔ’））が取得される。このとき制御装置１４０は、装具１３０にｎ個のタイムコードｔｋを連続的に送信する。装具１３０は、タイムコードｔｋを受信するたびに、タイムコードｔｋ’を生成する。係数ａおよびｂの計算のために記憶された点（ｔ’、ｄｉｆｆ（ｔ’））は、差（ｔｋ’－ｔｋ）が最小となるペア（ｔｋ’、ｄｉｆｆ＝ｔｋ’－ｔｋ）に相当する。一旦係数ａおよびｂが取得されると、タイムコードｔｉ’は、以下のように補正される。

【数3】

【0090】

しかしながらタイムスタンプに関するステップは選択的である。特に、装具１３０と制御装置１４０が同じクロックを使う場合は、このステップは不要である。

【0091】

ステップ４０３で、ＥＥＧ信号Ｅｉ、ｊを生成するために、ＥＥＧセグメントＥｉ、ｊ、ｋは連結される。

【0092】

ステップ４０４で、信号対雑音比を最大化するために、前処理および雑音除去がＥＥＧ信号に適用されてよい。特にＥＥＧ信号は、脳内および脳外の両方に起因するノイズにより、かなり汚染されている可能性がある。こうした雑音は、例えば電気的雑音（例えば欧州での送電線を流れる電流の周波数である５０ｋＨｚの雑音）や生理学的雑音（例えば、目の運動、心電図、筋活動など）である。１つ以上の実施の形態では、信号Ｅ１、Ｅ２、…、ＥＸは、再構成変調信号ＳＭＲが生成される前に、雑音除去される。雑音除去は、Ｅ１、Ｅ２、…、ＥＸから単に高周波を除去するものであってよい。例えば送電線で発生する電気的雑音を除去するために、４０Ｈｚより高い高周波がすべて除去されてもよい。あるいは多変量統計的アプローチ、特に主成分分析（ＰＣＡ）、独立成分分析（ＩＣＡ）および正準相関分析（ＣＣＡ）が使われてもよい。これにより、ＥＥＧ信号の有用な成分（すなわち、実行中の認識作業に関する脳活動に起因するもの）が、無意味な成分から分離される。

【0093】

ステップ４０５で、再構成モデルのパラメータが決定される。この決定は、再構成誤差を最小にするように実行されてよい。再構成モデルは、例えばＥＥＧ信号の結合の複数のパラメータを備えてよい。これらの結合のパラメータは、結合のパラメータの最適値を決定するための方程式の解法を用いて決定される。この最適値は、視覚刺激に関して記録された複数のＥＥＧ信号Ｅｉ、ｊに再構成モデルを適用したとき、関心対象の視覚刺激に相当する変調信号を最もよく近似する再構成変調信号を生成することができる値である。すなわちこの値は、再構成誤差が最小となるときの値である。

【0094】

１つ以上の実施の形態では、結合のパラメータの値αｊは（時間と依存せずに）固定されてよい。他の実施の形態では、ユーザ１０１の脳活動の潜在的な適応、または記録セッション中のＥＥＧ信号内の信号対雑音比の変化を考慮するために、これらの値はリアルタイムに調整されてよい。

【0095】

再構成モデルＭＲは、信号Ｅｉ、ｊの線形結合によって変調信号を生成する線形モデルであってよい。この場合、結合のパラメータは線形結合のパラメータαｊであり、方程式は以下の形の１次方程式である。

【数4】

【0096】

他のさらなる複雑なモデル、特にニューラルネットワークベースのモデルが使われてよい。ここでは、非線形の数学的処理をカスケードに信号Ｅｉ、ｊに適用することにより、変調信号が取得される。一例では、シャムネットワークである。ここでは、１次元の時間信号Ｒ（ここでは変調信号）に相当する任意のＥＥＧ信号Ｅを生成するために、（較正データベースで）ニューラルネットワークが学習される。これにより、異なるタイミングで記録された２つのＥＥＧ信号Ｅ１およびＥ２が、それぞれ１次元の信号Ｒ１およびＲ２（ここでは変調信号）を生成する。被験者の注意が同一の動画化された図形オブジェクトに集中しているとき、信号Ｒ１とＲ２は類似する。被験者の注意が異なる２つの動画化された図形オブジェクトに集中されているとき、信号Ｒ１とＲ２は類似しない。２つの信号間の類似性は、数学的意味（例えば、単純な相関の問題であってよい）で定義される。これは、２つのオブジェクト間の類似度を定量化する関数に相当する（例えばhttps://en.wikipedia.org/wiki/Similarity_measureを参照）。類似度に、複数の数学的定義、例えばユークリッド距離の逆数や「コサイン類似度」（例えばhttps://en.wikipedia.org/wiki/Cosine_similarityを参照）が使われてよい。

【0097】

再構成変調信号は、新たに取得されたＥＥＧ信号Ｅから、ニューラルネットワークにより生成された１次元の信号Ｒである。

【0098】

１つ以上の実施の形態では、再構成モデルを生成する方法のステップは、図１Ａに係るシステム１００によって、例えば信号処理装置１２０で実行される。

【0099】

図４Ｂに、視覚的注意の集中を決定する方法の実施の形態の一例を模式的に示す。この方法のステップは経時的に示されるが、特定の少なくとも１つのステップが割愛されても、異なる順序で実行されても、並行に実行されても、単一のステップとするために組み合わされてもよい。

【0100】

１つ以上の実施の形態では、視覚的注意の集中を決定する方法のステップは、図１Ａに係るシステム１００によって、例えば信号処理装置１２０および表示信号生成装置１１０で実行される。

【0101】

表示信号生成装置１１０は、ステップ４１１で、複数の図形オブジェクトＯ１、Ｏ２、…、ＯＮ、複数の基本変換Ｔ１、Ｔ２、…、Ｔ３、および複数の変調信号ＳＭ１、ＳＭ２、…、ＳＭＮから、複数の刺激信号を生成するように構成される。視覚刺激は、対応する変調信号ＳＭｉによってパラメータ化された時間的に連続する基本変換ＳＴｉを、対応する図形オブジェクトＯｉに適用することにより取得された、動画化された図形オブジェクトＯＡｉ（ｉは１以上Ｎ以下）である。

【0102】

１つ以上の実施の形態では、視覚刺激、変調信号および図形オブジェクトの数Ｎは１である。

【0103】

１つ以上の実施の形態では、基本変換の数Ｐは１である。時間的に連続する基本変換ＳＴｉの各々は、時間的に変化する所定の基本変換のパラメータに対応してよい。

【0104】

被験者は、自分の視覚的注意を、１つの動画化された図形オブジェクトから他の動画化された図形オブジェクトに、時間的に移してよい。この間、ステップ４１２で、被験者によって生成された脳波信号Ｅ１、Ｅ２、…、Ｅｉ、…、ＥＸは、装具１３０により記録される。

【0105】

１つ以上の実施の形態では、１つの視覚刺激ＯＡｉに注意を集中した被験者によって生成された複数の脳波信号Ｅ１、Ｅ２、…、Ｅｉ、…、ＥＸを取得するように、信号処理装置１２０が構成される。

【0106】

ステップ４１３で、脳波信号Ｅ１、Ｅ２、…、Ｅｉ、…、ＥＸは、前処理および雑音除去される。これにより、視覚的注意の集中を決定する方法の信頼性が向上する。この前処理は、ステップ４０２で説明したような脳波信号Ｅ１、Ｅ２、…、Ｅｉ、…、ＥＸのセグメントを参照クロックに同期させる処理、ステップ４０３で説明したような脳波信号のセグメントを連結する処理、および／またはステップ４０４で説明したような脳波信号を雑音除去する処理を含んでよい。

【0107】

１つ以上の実施の形態では、信号処理装置１２０は、ステップ４１４で、複数の脳波信号Ｅ１、Ｅ２、…、Ｅｉ、…、ＥＸからの変調信号を再構成することによって、再構成変調信号ＳＭＲを取得するように構成される。

【0108】

１つ以上の実施の形態では、信号処理装置１２０は、変調信号を再構成して、ステップ４１３または４１２（それぞれ、前処理および／または雑音除去がある、またはない）で取得された複数の脳波信号Ｅ１、Ｅ２、…、Ｅｉ、…、ＥＸから、再構成変調信号ＳＭＲを生成するように構成される。１つ以上の実施の形態では、再構成は、ステップ４１３または４１２（前処理および／または雑音除去がある、またはない）で取得された複数の脳波信号に、再構成モデルを適用することにより実行される。この再構成は、所定の移動する時間ウィンドウ（ここでは「再構成ウィンドウ」と呼ばれる）の中で実行され、再構成ウィンドウの各時間位置に関し周期的に繰り返されてよい。

【0109】

例えば、再構成モデルＭＲが信号Ｅ１、Ｅ２、…、Ｅｉ、…、ＥＸの線形結合により
変調信号を生成する線形モデルであるとする。このとき結合パラメータは、ステップ４０５で所得された線形結合のパラメータαｊである。そして再構成変調信号ＳＭＲは、以下の信号Ｅ１、Ｅ２、…、Ｅｉ、…、ＥＸの線形結合を用いて計算される。

【数5】

【0110】

１つ以上の実施の形態では、ステップ４１５（「デコーディングステップ」と呼ばれる）で信号処理装置１２０は、再構成変調信号と、変調信号の組の中の各変調信号と、の間の統計的相関度を計算し、統計的相関度が閾値ＳＣ２（この値は、例えば０．２から０．３の間にある）より大きい変調信号に相当する少なくとも１つの視覚刺激を特定するように構成される。「統計的相関度が閾値ＳＣ２より高い変調信号に相当する少なくとも１つの視覚刺激を特定する」とは、被験者の視覚的注意がこの視覚刺激に（アプリオリに）集中されていること、および／または、これら１つ以上の視覚刺激が被験者が観察する表示スクリーンのある領域にちょうど出現したことを意味する。従ってこの特定を、表示の中に変化が生じたこと、および／または、視覚的注意の集中に変化が生じたことの検出に使うことができる。統計的相関度は、前述の方法で決定されてよい。統計的相関度は例えば、再構成変調信号と、変調信号の組の中の１つの変調信号と、の間の時間的相関の係数である。

【0111】

１つ以上の実施の形態では、視覚刺激、変調信号および図形オブジェクトの数Ｎは、厳密に１より大きくてよい。このとき信号処理装置１２０はステップ４１５で、再構成され変調信号ＳＭＲとの統計的相関度が最大となるようなＳＭｉを複数の変調信号ＳＭ１、ＳＭ２、…、ＳＭＮの中から探索し、統計的相関度が最大となる変調信号ＳＭｉに相当する視覚刺激ＯＡｉを特定するように構成される。視覚的注意は、特定された視覚刺激ＯＡｉにアプリオリに集中される。この探索は例えば、再構成変調信号と、複数の変調信号ＳＭ１、ＳＭ２、…、ＳＭＮの中の各変調信号と、の間の統計的相関度を計算することによって実行される。デコーディングステップは、所定の時間ウィンドウ（ここでは「デコーディングウィンドウ」と呼ばれる）の中で実行され、デコーディングウィンドウ内の各時間位置に関し周期的に繰り返されてよい。デコーディングウィンドウの持続時間は、再構成ウィンドウの持続時間と同じであってよい。

【0112】

１つ以上の実施の形態では、視覚刺激、変調信号および図形オブジェクトの数Ｎが厳密に１より大きいとき、１つ以上の視覚刺激が所定の時刻に表示スクリーン１０５上に表示されてよい。所定の時刻に表示される視覚刺激の数がいくつであろうと、デコーディングステップ４１５は同一であってよい。このとき統計的相関度は、変調信号ＳＭ１、ＳＭ２、…、ＳＭＮの任意の１つであって、表示可能な視覚刺激に相当するもので探索することができる。これにより、実際に表示されるコンテンツの変化に応じて、デコーディングステップ４１５で実行される処理を動的に変更したり同期させたりことが不要となる。これは、視覚刺激が１つのビデオに統合されたり、ユーザが操作するたびにユーザインタフェース（ここに視覚刺激が統合される）が動的に変わったりする場合に非常に有用だろう。

【0113】

１つ以上の実施の形態では、明滅する数字（０から９までの数字）の形の１０個の視覚刺激がスクリーン上に表示される。これらの明滅の各々は、若干異なる周波数で、または同じ周波数だが交互に表示される。被験者はヘッドキャップを装着し、１０個の数字が異なる周波数で明滅する表示スクリーンを観察する。

【0114】

ある実施の形態では、視覚的注意の集中を決定している間に２つ以上の視覚刺激間に曖昧さがある場合、あるいは（例えばユーザの動きに起因して）記録されたＥＥＧ信号内にゆらぎおよび／または雑音がある場合、視覚刺激の変調信号を時間的に変更することができる（例えば、曖昧さを除去するのに必要な時間、あるいはよりゆらぎの少ない信号を取得する間）。これは例えば、曖昧さのある視覚刺激だけを表示する、および／または、曖昧さのある視覚刺激の変調信号を変更することで実行できる。

【0115】

変調信号の変更は、変調信号の周波数または時間的パターンを変更することを含む。このとき、曖昧さが存在するときの視覚刺激の周波数および／または可視時間および／または変換度が増加し、他の視覚刺激の周波数および／または可視時間および／または変換度が減少する。変更はまた、時間的パターンや周波数を変えることなく、変調信号を互いに入れ替えるすることを含んでもよい。この交換はランダムなものであってよい。変調信号および基本変換が、視覚刺激の表示スクリーン上への出現および消滅による明滅で定義されるとき（図２Ｅを参照）、上記の交換は、視覚刺激の出現の順序を（例えばランダムに）変更するものである。これにより、曖昧さが存在するときの刺激がより頻繁に見えるようになる。曖昧さが存在するときの視覚刺激の周波数および／または可視時間および／または変換度を増加させることを目的として、交換と変調信号の変更とを組合せてもよい。

【0116】

信号処理装置１２０により、ＥＥＧ以外の任意の情報を使うことなく、注意が集中している視覚刺激を特定することが可能となる。再構成モデルにより、生のＥＥＧから、再構成変調信号を生成することができる。変調信号は、様々な動画化された図形オブジェクトに対応する変調信号に相関する。このとき観察される視覚刺激は、統計的相関度が最大の変調信号に対応するものである。

【0117】

複数の被験者の結果をグループ化することによって得られるテストにより、学習フェーズが数分間さらには数秒間（例えば５秒未満）といったように極めて短く、実行された刺激のタイプが少数の場合であっても、観察された視覚刺激を決定する本方法が非常にロバストである（１秒間記録された信号Ｅ１、Ｅ２、…、ＥＸの１０％未満である）ことを示すことができる。

【0118】

視覚的注意の集中を決定する方法は、数字に適用されるだけでなく、多くのマン－マシンインタフェース、例えば２６文字以上の文字を含む完全アルファベットキーボードにも適用される。

【0119】

図５に、本方法が適用されるマン－マシンインタフェースの他の例を示す。この例では、動的な刺激はロゴまたはアイコンからなる。これらのロゴまたはアイコンは、これらのロゴまたはアイコンの光強度に作用する基本変換によってではなく、これらのロゴまたはアイコン自身が平面または３次元空間で動くような運動を導入することによって動画化される。これらの運動は例えば、リアルタイムでデコード可能な様々な周波数での振動や回転である。この場合、対応する変調信号の強度は、所定の時刻における変換度を表す。
例えば所定の時刻での回転角度が与えられる。これらの運動は例えば周期的である。

【0120】

図５には、１２個のロゴ（ＡＰＰ１からＡＰＰ１２）が示される。これらのロゴは、４×３のロゴのグリッドに配置される。この図は白黒で示されるが、ロゴはカラーであってもよい。図５の例では、ロゴは、様々な周波数で自転する（図５では、ＡＰＰ８で例示する）。これらのロゴの各々は、他のロゴの周波数と異なる周波数での、自分自身の周りの回転振動によって動画化される。アイコンに与えられるこれらの周期的回転は、回転の特定の周波数のＥＥＧ信号で検出可能な、大脳の反応を誘発する。この反応は、前述の技術を用いてリアルタイムにデコードされてよい。このタイプのインタフェースは、非常にフレキシブルであり、特にスマートフォンやタブレットに適用することができる。このようなマン－マシンインタフェースにより、例えば、任意のタイプのコンピュータデバイスのためのグラフィカルインタフェース、例えばモバイル端末またはコンピュータのためのソフトウェアアプリケーションおよび／またはオペレーションシステムのためのグラフィカルインタフェースを生成することができる。この場合表示スクリーンは、タッチスクリーンであってもなくてもよい。

【0121】

図６に、別のタイプの有用なマン－マシンインタフェースの例を示す。視覚刺激に対する被験者の視覚的注意の集中を促進し、隣接する視覚刺激のＥＥＧ信号への影響を最小化するために、「クラウディング」と呼ばれる技術が使われてもよい。この技術は、各視覚刺激を選択的に動画化した横方向のマスクで取り囲むことを含む。このマスクは、隣接する視覚刺激の動きに関連する視覚的なゆらぎを減少させ、被験者が自分の視覚的注意を特定の視覚刺激により効果的に集中させることを可能とする。これにより、デコードが改善される。

【0122】

図７に、別のタイプのマン－マシンインタフェースの例を示す。ここでは、ユーザによって観察されたと特定された視覚刺激のフィードバックが、当該ユーザに与えられる。マン－マシンインタフェースは、０から９の数字を含む。図７の例では、ユーザは数字６を観察する。このときフィードバックは、本開示に係る視覚的注意の集中を決定する方法を適用することによって、観察されたと特定された数字を拡大することを含む。一般に、ユーザに与えられるフィードバックは特定された視覚刺激をハイライトすることを含んでもよい。このハイライトは、例えば、該視覚刺激の明度を強める、該視覚刺激の明滅させる、該視覚刺激にズームインする、該視覚刺激の位置を変える、該視覚刺激の大きさを変える、あるいは該視覚刺激の色を変えることによってなされてよい。

【0123】

１つ以上の実施の形態では、視覚刺激は、ソフトウェアアプリケーションまたはコンピュータデバイスのマン－マシンインタフェースの一部を形成する。このとき、本開示に係る視覚的注意の集中を決定する方法を実行することによって、観察された視覚刺激が特定された後、この特定された視覚刺激に関する１つ以上の処理を開始するために、コマンドが送信される。

【0124】

１つ以上の実施の形態では、前述の方法の様々なステップが、ソフトウェアパッケージまたはコンピュータプログラムによって実行されてよい。

【0125】

従って、ここでの説明は、コンピュータまたはデータプロセッサによって読み取り可能および／または実行可能なソフトウェア命令またはプログラム命令コードを含む、ソフトウェアパッケージまたはコンピュータプログラムに関する。このコンピュータプログラムがコンピュータまたはデータプロセッサで実行されるとき、これらの命令は、前述の１つ以上の方法のステップの実行を命令するように構成される。

【0126】

これらの命令は、任意のプログラム言語を使用してもよく、ソースコード、オブジェクトコードまたはソースコードとオブジェクトコードとの中間のコード（例えば、部分的にコンパイルされた形）の形、あるいは任意の望ましい形を取ってもよい。これらの命令は、コンピュータデバイスまたはコンピュータシステムのメモリに記憶され、ロードされ、その後、前述の１つ以上の方法のステップを実行するために、このコンピュータデバイスまたはコンピュータシステムの処理ユニットまたはデータプロセッサにより実行されることが意図される。これらの命令の一部または全部は、一時的または永久に、１つ以上のストレージ媒体を備えるローカルまたはリモートの記憶装置の不揮発性コンピュータ読み取り可能媒体に記憶されてよい。

【0127】

本明細書はまた、前述のようなソフトウェアパッケージまたはコンピュータプログラムの命令を含む、データプロセッサ読み取り可能データ媒体に関する。データ媒体は、このような命令を記憶可能な任意の実体または装置であってよい。コンピュータ読み取り可能媒体の形態は、ある場所から別の場所へのコンピュータプログラムの送信を容易にする任意の媒体を備えるデータストレージ媒体とコミュニケーション媒体の両方を含むが、これに限られない。このようなストレージ媒体は、コンパクトディスク（登録商標）（CD（登録商標）、ＣＤ－Ｒ（登録商標）またはＣＤ－ＲＷ（登録商標））、ＤＶＤ（登録商標）（ＤＶＤ－ＲＯＭ（登録商標）またはＤＶＤ－ＲＷ（登録商標））やブルーレイ（登録商標）ディスクのような光学記憶デバイス、ハードディスク、磁気テープ、フロッピー（登録商標）ディスク（登録商標）のような磁気メディア、取り外し可能ストレージ媒体（ＵＳＢキー（登録商標）、ＳＤ（登録商標）カード、マイクロＳＤ（登録商標）カードなど）、さらにはランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、キャッシュメモリ、不揮発性メモリ、バックアップメモリ（例えば、フラッシュまたはプログラマブルメモリ）などであってよい。

【0128】

本明細書はまた、前述の１つ以上の方法のステップを実行する手段を備えるコンピュータデバイスまたはコンピュータシステムに関する。これらの手段は、前述の１つ以上の方法のステップを実行するソフトウェアおよび／またはハードウェアである。

【0129】

本明細書はまた、前述の１つ以上の方法のステップを実行するためのコンピュータプログラムのコード命令を記憶するための少なくとも１つのメモリと、このようなコンピュータプログラムを実行するように構成された少なくとも１つのデータプロセッサと、を備えるコンピュータデバイスまたはコンピュータシステムに関する。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】