特許7496776高速、正確及び直観的なユーザ対話のための適合を有する脳－コンピュータインターフェース
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-30
(45)【発行日】2024-06-07
(54)【発明の名称】高速、正確及び直観的なユーザ対話のための適合を有する脳－コンピュータインターフェース
(51)【国際特許分類】
G06F 3/01 20060101AFI20240531BHJP
A61B 5/377 20210101ALI20240531BHJP
A61B 5/24 20210101ALI20240531BHJP
A61B 3/113 20060101ALI20240531BHJP
G06F 3/0346 20130101ALI20240531BHJP
【ＦＩ】
G06F3/01 515
A61B5/377
A61B5/24
A61B3/113
G06F3/0346 423
【請求項の数】
17
(21)【出願番号】P 2020544378
(86)(22)【出願日】2018-11-13
(65)【公表番号】
(43)【公表日】2021-01-28
(86)【国際出願番号】 US2018060797
(87)【国際公開番号】W WO2019094953
(87)【国際公開日】2019-05-16
【審査請求日】2021-11-09
(31)【優先権主張番号】62/585,209
(32)【優先日】2017-11-13
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520061723
【氏名又は名称】ニューラブル インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】アルケイド，ラムセス
(72)【発明者】
【氏名】パッデン，デレク
(72)【発明者】
【氏名】ジャンツ，ジェイ
(72)【発明者】
【氏名】ハーメット，ジェームス
(72)【発明者】
【氏名】モーリス，ジュニア，ジェフリー
(72)【発明者】
【氏名】ペレイラ，アルナルド
【審査官】木内 康裕
(56)【参考文献】
【文献】国際公開第２００９／０９３４３５（ＷＯ，Ａ１）
【文献】特開２０１７－０５８９７１（ＪＰ，Ａ）
【文献】国際公開第２００７／０８６２２２（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１４／０３４７２６５（ＵＳ，Ａ１）
【文献】国際公開第２０１７／１０４８６９（ＷＯ，Ａ１）
【文献】特開２０１２－２２１４９８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１２／０２９６４７６（ＵＳ，Ａ１）
【文献】特開２０１６－２０７１１５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０２４７２３２（ＵＳ，Ａ１）
【文献】特開平１０－２６０７７３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０３３ － ３／０３９
Ｇ０６Ｆ ３／０４８ － ３／０４８９５
Ａ６１Ｂ ５／３７７
Ａ６１Ｂ ５／２４
Ａ６１Ｂ ３／１１３
(57)【特許請求の範囲】
【請求項1】
制御インターフェースをユーザに提示するように構成されたディスプレイと、前記ユーザに関連する眼球運動信号を記録するように構成された眼球追跡デバイスと、
前記ユーザに関連する神経信号を記録するように構成された神経記録デバイスと、
前記ディスプレイ、前記眼球追跡デバイス及び前記神経記録デバイスに動作可能に結合されたインターフェースデバイスと
を含む装置であって、
前記インターフェースデバイスは、
メモリと、
前記メモリに動作可能に結合されたプロセッサと
を含み、
前記プロセッサは、
前記眼球追跡デバイスから前記眼球運動信号を受信し、及び前記神経記録デバイスから前記神経信号を受信することと、
刺激を生成し、及び前記制御インターフェースを介して及び前記ユーザに提示することであって、前記刺激は、
（１）前記ディスプレイ上の所定の位置に配置されるコアアイコンであって、前記コアアイコンが、前記ユーザの焦点が前記コアアイコン上に閾値より長い持続時間に渡り存続することに基づいてアクティブ化されるように構成され、前記閾値がフラッシュ刺激の提示に関連する前記ユーザからの反応に基づいて決定される、コアアイコンと、
（２）一連の動作に関連する一連の制御項目であって、前記コアアイコンがアクティブ化されることに応じて不可視から可視へと遷移するよう構成される前記一連の制御項目と、
を含む、生成及び提示することと、
前記眼球運動信号及び前記神経信号の少なくとも一方に基づいて、第１の時間における前記ユーザの焦点を特定することであって、前記焦点は、前記一連の制御項目からの第１の制御項目に関連し、前記一連の制御項目は、スティッキー制御項目の組を含み、前記スティッキー制御項目は、前記ユーザに関連する眼球運動信号に基づいて操作されるように構成される、特定することと、
前記制御インターフェースに含まれるグラッブ可能オブジェクトを提供することであって、前記グラッブ可能オブジェクトは、前記スティッキー制御項目を操作するように構成される、提供することと、
スティッキー制御項目として前記第１の制御項目を識別することと、
前記第１の時間における前記ユーザの前記焦点に関連する前記スティッキー制御項目に基づいて、前記スティッキー制御項目を前記グラッブ可能オブジェクトに関連付けることと、
前記第１の時間後の第２の時間における前記ユーザの焦点を特定することと、
前記第２の時間における前記ユーザの前記焦点に関連する第２の制御項目を識別することであって、前記第２の制御項目は、前記スティッキー制御項目と異なる、識別することと、
前記グラッブ可能オブジェクトから前記スティッキー制御項目を関連付け解除し、及び前記スティッキー制御項目を前記第２の制御項目に関連付けることと、
前記スティッキー制御項目と前記第２の制御項目との間の前記関連付けに基づいて、前記ユーザによって意図される動作を特定することと、
前記ユーザによって意図される前記動作を実施することと
を行うように構成される、装置。
【請求項2】
前記眼球追跡デバイスは、光学センサを含み、前記神経信号は、視覚誘発電位、感覚誘発電位、運動イメージ信号、事象関連電位（ＥＲＰ）、感覚運動リズム、事象関連脱同期（ＥＲＤ）、事象関連同期（ＥＲＳ）、緩変動電位（ＳＣＰ）及び脳状態依存信号の少なくとも１つを含む脳波図（ＥＥＧ）信号を含み、及び
前記プロセッサは、前記眼球運動信号と前記ＥＥＧ信号とを統合して、前記ユーザの前記焦点を特定するように更に構成される、請求項１に記載の装置。
【請求項3】
前記ディスプレイは、前記制御インターフェースを三次元空間として提示するように構成される、請求項１に記載の装置。
【請求項4】
前記刺激は、視覚刺激、聴覚刺激、前庭刺激及び触覚刺激の少なくとも１つを含む、請求項１に記載の装置。
【請求項5】
前記一連の制御項目は、視覚環境を通してナビゲーションを制御することに関連する、請求項１に記載の装置。
【請求項6】
前記一連の制御項目は、前記ユーザの視覚運動の速度を制御することに関連する制御項目の第１のサブセット及び前記ユーザの視覚運動の方向を制御することに関連する制御項目の第２のサブセットを含む、請求項５に記載の装置。
【請求項7】
前記ディスプレイは、現実世界環境のビューを提示するように更に構成され、及び前記現実世界環境の前記ビューの上に前記制御インターフェースを提示するように構成される、請求項１に記載の装置。
【請求項8】
前記一連の制御項目は、制御項目の第１の組であり、前記刺激は、第１の刺激であり、前記ディスプレイは、現実世界環境のビューを提示するように更に構成され、及び前記現実世界環境の前記ビューの上に前記制御インターフェースを提示するように構成され、及び
前記プロセッサは、
前記現実世界環境に関連する画像の組を受信することと、
前記画像の組を分析して、前記プロセッサに動作可能に接続された少なくとも１つのマシンを識別することと、
前記マシンに関連する一連の動作の情報を取得することと、
前記情報に基づいて制御項目の第２の組を生成することと、
前記制御インターフェースを介して及び前記ユーザに、前記制御項目の第２の組を含む第２の刺激を提示することと
を行うように更に構成される、請求項１に記載の装置。
【請求項9】
プロセッサによって実行される命令を表すコードを記憶する非一時的プロセッサ可読媒体であって、前記命令は、前記プロセッサに、一連の動作を実行するようにユーザによって操作されるように構成された制御インターフェースを生成することと、
刺激を生成し、及び前記制御インターフェースを介して及び前記ユーザに提示することであって、前記刺激は、
（１）前記ディスプレイ上の所定の位置に配置されるコアアイコンであって、前記コアアイコンが、前記ユーザの焦点が前記コアアイコン上に閾値より長い持続時間に渡り存続することに基づいてアクティブ化されるように構成され、前記閾値がフラッシュ刺激の提示に関連する前記ユーザからの反応に基づいて決定される、コアアイコンと、
（２）一連の動作に関連する一連の制御項目であって、前記コアアイコンがアクティブ化されることに応じて不可視から可視へと遷移するよう構成される前記一連の制御項目と、
を含む、生成及び提示することと、
眼球追跡デバイスから情報を受信し、及び神経記録デバイスから情報を受信することであって、前記眼球追跡デバイス及び前記神経記録デバイスは、前記ユーザの挙動を監視するように構成される、受信することと、
前記眼球追跡デバイスからの前記情報及び前記神経記録デバイスからの前記情報の少なくとも一方に基づいて第１の時間における前記ユーザの焦点を特定することと、
前記ユーザの前記焦点に関連する、前記一連の制御項目からの第１の制御項目を識別することであって、前記一連の制御項目は、スティッキー制御項目の組を含み、前記スティッキー制御項目は、前記ユーザに関連する眼球運動信号に基づいて操作されるように構成され、前記眼球運動信号は、前記眼球追跡デバイスから受信される前記情報に含まれる、識別することと、
前記制御インターフェースに含まれるグラッブ可能オブジェクトを提供することであって、前記グラッブ可能オブジェクトは、前記スティッキー制御項目を操作するように構成される、提供することと、
スティッキー制御項目として前記第１の制御項目を識別することと、
前記第１の時間における前記ユーザの前記焦点に関連する前記スティッキー制御項目に基づいて、前記スティッキー制御項目を前記グラッブ可能オブジェクトに関連付けることと、
前記第１の時間後の第２の時間における前記ユーザの焦点を特定することと、
前記第２の時間における前記ユーザの前記焦点に関連する第２の制御項目を識別することであって、前記第２の制御項目は、前記スティッキー制御項目と異なる、識別することと、
前記グラッブ可能オブジェクトから前記スティッキー制御項目を関連付け解除し、及び前記スティッキー制御項目を前記第２の制御項目に関連付けることと、
前記スティッキー制御項目と前記第２の制御項目との間の前記関連付けに基づいて、前記ユーザによって意図される動作を特定することと
を行わせるコードを含む、非一時的プロセッサ可読媒体。
【請求項10】
前記命令は、前記プロセッサに、前記ユーザによって意図される前記動作を実行させるコードを更に含む、請求項９に記載の非一時的プロセッサ可読媒体。
【請求項11】
前記命令は、前記プロセッサに、前記ユーザによる確認のために、前記ユーザによって意図される前記動作の指示を前記ユーザに提示することと、
前記ユーザによる確認を表す信号を受信することに応答して、前記ユーザによって意図される前記動作を実行することと
を行わせるコードを更に含む、請求項９に記載の非一時的プロセッサ可読媒体。
【請求項12】
前記眼球追跡デバイスから受信される前記情報は、前記ユーザに関連する眼球運動信号を含み、及び前記神経記録デバイスから受信される前記情報は、前記ユーザに関連する神経信号を含み、前記神経信号は、脳波図（ＥＥＧ）信号を含み、前記ＥＥＧ信号は、視覚誘発電位、感覚誘発電位、運動イメージ信号、事象関連電位（ＥＲＰ）、感覚運動リズム、事象関連脱同期（ＥＲＤ）、事象関連同期（ＥＲＳ）、緩変動電位（ＳＣＰ）及び脳状態依存信号の少なくとも１つを含み、及び
前記プロセッサに前記焦点を特定させる前記コードは、前記プロセッサに、前記眼球運動信号と前記ＥＥＧ信号とを統合して、前記ユーザの前記焦点を特定させるコードを含む、請求項９に記載の非一時的プロセッサ可読媒体。
【請求項13】
前記プロセッサに前記刺激を提示させる前記コードは、前記プロセッサに、前記制御インターフェースによって画定される三次元仮想空間において前記一連の制御項目を提示させるコードを含む、請求項９に記載の非一時的プロセッサ可読媒体。
【請求項14】
前記命令は、前記プロセッサに、前記一連の制御項目をグループの組にグループ化させるコードを更に含み、前記プロセッサに前記刺激を提示させる前記コードは、前記プロセッサに、前記グループの組にグループ化された前記制御項目の前記組を提示させるコードを含む、請求項９に記載の非一時的プロセッサ可読媒体。
【請求項15】
前記一連の制御項目は、ドラッグ可能制御項目を含み、前記ドラッグ可能制御項目は、前記ユーザに関連する眼球運動信号に基づいて操作されるように構成され、前記眼球運動信号は、前記眼球追跡デバイスから受信される情報に含まれる、請求項９に記載の非一時的プロセッサ可読媒体。
【請求項16】
前記少なくとも１つの制御項目は、第１の制御項目であり、及び前記ユーザの前記焦点は、第１の時間におけるものであり、前記命令は、前記プロセッサに、ドラッグ可能制御項目として前記第１の制御項目を識別することであって、前記ドラッグ可能制御項目は、前記ユーザに関連する眼球運動信号に基づいて操作され、及び前記眼球追跡デバイスから受信される前記情報に含まれるように構成される、識別すること、
前記第１の時間後の第２の時間における前記ユーザの焦点を特定すること、
前記第２の時間における前記ユーザの前記焦点に関連するロケーションに前記ドラッグ可能制御項目を移動させること、
前記第２の時間における前記ユーザの前記焦点に関連する第２の制御項目を識別することであって、前記第２の制御項目は、前記ドラッグ可能制御項目と異なる、識別すること、
前記第２の制御項目に基づいて、前記ユーザによって意図される前記動作を特定すること
を行わせるコードを更に含む、請求項９に記載の非一時的プロセッサ可読媒体。
【請求項17】
プロセッサによって実行される命令を表すコードを記憶する非一時的プロセッサ可読媒体であって、前記命令は、前記プロセッサに、一連の動作を実行するためにユーザによって操作されるように構成された制御インターフェースを生成することと、
刺激を生成し、及び前記制御インターフェースを介して及び前記ユーザに提示することであって、前記刺激は、一連の動作に関連する一連の制御項目であって、前記制御項目は、前記ユーザと関連する眼球運動信号に基づいて制御項目に貼り付くように操作されるように構成されるスティッキー制御項目と、前記スティッキー制御項目を操作するように構成されるグラッブ可能オブジェクトと、を含む、生成及び提示することと、
眼球追跡デバイスから情報を受信することと、
前記眼球追跡デバイスからの前記情報に基づいて、第１の時間における前記ユーザの焦点を特定することと、
前記第１の時間における前記ユーザの前記焦点に関連する前記スティッキー制御項目に基づいて、前記スティッキー制御項目を前記グラッブ可能オブジェクトと関連付けることと、
前記第１の時間後の第２の時間における前記ユーザの焦点を特定することと、
前記第２の時間における前記ユーザの前記焦点に関連するメニュー制御項目を識別することであって、前記メニュー制御項目は、前記スティッキー制御項目と異なる、識別することと、
前記グラッブ可能オブジェクトから前記スティッキー制御項目を関連付け解除し、及び前記スティッキー制御項目を前記メニュー制御項目に関連付けることと、
前記スティッキー制御項目と前記メニュー制御項目との間の前記関連付けに基づいて、前記ユーザによって意図される前記動作を特定することと
を行わせるコードを含む、非一時的プロセッサ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001] 本願は、２０１７年１１月１３日付けで出願された「Brain-Computer Interface with Adaptations for High-Speed, Accurate, and Intuitive User Interactions」という名称の米国仮特許出願第６２／５８５，２０９号に対する優先権及びその利益を主張するものであり、この開示は、全体的に参照により本明細書に援用される。
[0001] 本願は、２０１７年１１月１３日付けで出願された「Brain-Computer Interface with Adaptations for High-Speed, Accurate, and Intuitive User Interactions」という名称の米国仮特許出願第６２／５８５，２０９号に対する優先権及びその利益を主張するものであり、この開示は、全体的に参照により本明細書に援用される。
【0002】
背景
[0002] 本明細書に記載される実施形態は、脳活動追跡を使用して、ヒューマン－マシン対話の高い速度及び精度のために戦略的に設計されるユーザインターフェース（ＵＩ）又はＵＸを提示及び更新し、マシンのユーザ操作を仲介する脳－コンピュータインターフェースの実施において使用されるシステム、デバイス及び方法に関する。本明細書に記載される実施形態は、眼球運動追跡と神経活動の分析とを統合して、マシンのユーザ操作を仲介するハードウェア非依存脳－コンピュータインターフェースの実施にも関する。
[0002] 本明細書に記載される実施形態は、脳活動追跡を使用して、ヒューマン－マシン対話の高い速度及び精度のために戦略的に設計されるユーザインターフェース（ＵＩ）又はＵＸを提示及び更新し、マシンのユーザ操作を仲介する脳－コンピュータインターフェースの実施において使用されるシステム、デバイス及び方法に関する。本明細書に記載される実施形態は、眼球運動追跡と神経活動の分析とを統合して、マシンのユーザ操作を仲介するハードウェア非依存脳－コンピュータインターフェースの実施にも関する。
【背景技術】
【0003】
[0003] 脳－コンピュータインターフェース（ＢＣＩ）は、接続された脳と外部デバイスとの間で直接通信経路を用いて脳活動単独でコンピュータ又は外部デバイスを制御できるようにするハードウェア及びソフトウェア通信システムである。ＢＣＩは、主に、脳信号の解釈から直接、動作中のマシン及びアプリケーションへのアクセスを提供するアシスティブテクノロジーとして設計されてきた。ＢＣＩ開発の主な目標の１つは、他人との有効なコミュニケーションが極めて困難であり得る、完全に麻痺しているか、又は筋萎縮性側索硬化症、脳幹卒中若しくは脊髄損傷等の神経学的神経筋障害によって「閉じ込め状態」の重度障害の人々にコミュニケーション機能を提供することである。
【0004】
[0004] 脳コンピュータインターフェースの幾つかの既知の実施は、Farwell及びDonchinによって設計されたもののようなスペラーを含む。このスペラーでは、２６文字のアルファベットは、幾つかの他の記号及びコマンドと一緒に、ランダムに閃光する行及び列を有する６×６行列で画面に表示される。ユーザは、画面に注意を集中させ、書かれる文字に連続して集中し、その間、脳の神経応答がシグネチャ神経脳信号について監視される。シグネチャ脳信号が検出されると、システムは、所望の記号を識別することができる。Farwell-Donchinスペラーは、人々が毎分約２文字の速度でスペリングできるようにする。
【0005】
[0005] ＢＣＩシステムは、マウス及びキーボード等の従来の入力インターフェース又は出力インターフェースを必要とせずに、身体的に健常な人々によるコンピュータ又は他のデータ処理マシン及び／又はソフトウェアアプリケーションの操作さえも支援及び改善するように設計することができる。ＢＣＩは、従来の入力方法よりもコンピュータとの直観的で自然な対話のためのインターフェースも提供し得る。更に、ＢＣＩは、ヒト及び動物の認知及び／又は感覚運動系並びにそれらの機能の増強、修復並びにマッピング及び研究を含め、多くの他の機能を提供するように開発することもできる。幾つかのＢＣＩ用途には、特にワードプロセッサ、適合ウェブブラウザ、車椅子又は神経義肢の脳制御及びゲームがある。
【発明の概要】
【課題を解決するための手段】
【0006】
概要
[0006] 眼球運動及び脳活動を追跡して、ユーザの注視又は注目のリアルタイムポジショニング及び所望の動作の選択／アクティブ化を仲介する、ハードウェア非依存動眼－神経統合ハイブリッド脳コンピュータインターフェース（ＢＣＩ）プラットフォームの種々の実施形態のためのシステム、デバイス及び方法が本明細書に記載される。本開示は、高速及び正確に動作する脳コンピュータインターフェースのニーズに対処する統合ハイブリッドＢＣＩシステムを提示する。
[0006] 眼球運動及び脳活動を追跡して、ユーザの注視又は注目のリアルタイムポジショニング及び所望の動作の選択／アクティブ化を仲介する、ハードウェア非依存動眼－神経統合ハイブリッド脳コンピュータインターフェース（ＢＣＩ）プラットフォームの種々の実施形態のためのシステム、デバイス及び方法が本明細書に記載される。本開示は、高速及び正確に動作する脳コンピュータインターフェースのニーズに対処する統合ハイブリッドＢＣＩシステムを提示する。
【図面の簡単な説明】
【0007】
図の簡単な説明
【図1】[0007]実施形態によるハイブリッド脳コンピュータインターフェースシステムの概略図である。
【図2】[0008]ハイブリッドＢＣＩデバイスの実施形態を使用して刺激アイコンを選択／選択解除するポインティング制御特徴及び動作制御特徴の実装形態例に関わる一連のステップの図を示す。
【図3A】[0009]ユーザ対話前のＵＩを示す。
【図3B】[0009]ユーザ対話後のＵＩを示す。
【図3C】[0009]実施形態によるビデオベースの眼球追跡器及び神経記録ヘッドセットを搭載したユーザを示す。
【図4】[0011]実施形態によるハイブリッド脳コンピュータインターフェースデバイスの動作のプロセス例を示す。
【図5】[0012]実施形態によるハイブリッド脳コンピュータインターフェースデバイスの概略図である。
【図6】[0013]実施形態による、動的刺激の識別及び追跡を示すハイブリッドＢＣＩシステムのＵＩ例を示す。
【図7】[0014]実施形態によるハイブリッドＢＣＩシステムのＵＩにおけるナビゲーション制御例の図を示す。
【図8A】[0015]実施形態によるハイブリッドＢＣＩシステムによって捕捉された現実世界画像に対して実行される画像セグメンテーションの例を示す。
【図9A】[0017]実施形態による、フォーカスクリックスルー適合を示すハイブリッドＢＣＩシステムのＵＩ例を示す。
【図9B】[0017]実施形態による、フォーカスクリックスルー適合を示すハイブリッドＢＣＩシステムのＵＩ例を示す。
【図9C】[0017]実施形態による、フォーカスクリックスルー適合を示すハイブリッドＢＣＩシステムのＵＩ例を示す。
【図10A】[0018]実施形態による、１ステップ選択プロセスをユーザに提示するハイブリッドＢＣＩシステム例のＵＩ例を示す。
【図10B】[0019]実施形態による、事前選択プーリング適合を実施する２ステップ選択プロセスをユーザに提示するＵＩの別のモードを示す。
【図11A】[0020]実施形態による、ドラッグ可能マーカ適合の実施を示すハイブリッドＢＣＩシステムのＵＩ例を示す。
【図11B】[0020]実施形態による、ドラッグ可能マーカ適合の実施を示すハイブリッドＢＣＩシステムのＵＩ例を示す。
【図11C】[0020]実施形態による、ドラッグ可能マーカ適合の実施を示すハイブリッドＢＣＩシステムのＵＩ例を示す。
【図11D】[0020]実施形態による、ドラッグ可能マーカ適合の実施を示すハイブリッドＢＣＩシステムのＵＩ例を示す。
【図12A】[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドＢＣＩシステムのＵＩの図を示す。
【図12B】[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドＢＣＩシステムのＵＩの図を示す。
【図12C】[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドＢＣＩシステムのＵＩの図を示す。
【図12D】[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドＢＣＩシステムのＵＩの図を示す。
【図12E】[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドＢＣＩシステムのＵＩの図を示す。
【図12F】[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドＢＣＩシステムのＵＩの図を示す。
【図12G】[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドＢＣＩシステムのＵＩの図を示す。
【図12H】[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドＢＣＩシステムのＵＩの図を示す。
【図13A】[0022]実施形態による、ユーザ対話への適合を実施するＵＩ例を示す。
【図13B】[0023]実施形態による、選択アクティブ化のＵＩ適合を実施するメカニズムを示す。
【図13C】[0023]実施形態による、選択アクティブ化のＵＩ適合を実施するメカニズムを示す。
【図13D】[0023]実施形態による、選択アクティブ化のＵＩ適合を実施するメカニズムを示す。
【発明を実施するための形態】
【0008】
詳細な説明
[0024] 本明細書に記載される実施形態は、リアルタイム眼球運動追跡を脳活動追跡と統合して、ヒューマン－マシン対話の高い速度及び精度のために戦略的に設計されるＵＩを提示及び更新するハイブリッド脳－コンピュータインターフェース（ＢＣＩ）の実施において使用されるシステム、デバイス及び方法に関する。本明細書に記載される実施形態は、リアルタイム眼球追跡及び神経脳信号のオンライン分析を使用して、マシンのユーザ操作を仲介するハードウェア非依存脳－コンピュータインターフェースの実施にも関する。
[0024] 本明細書に記載される実施形態は、リアルタイム眼球運動追跡を脳活動追跡と統合して、ヒューマン－マシン対話の高い速度及び精度のために戦略的に設計されるＵＩを提示及び更新するハイブリッド脳－コンピュータインターフェース（ＢＣＩ）の実施において使用されるシステム、デバイス及び方法に関する。本明細書に記載される実施形態は、リアルタイム眼球追跡及び神経脳信号のオンライン分析を使用して、マシンのユーザ操作を仲介するハードウェア非依存脳－コンピュータインターフェースの実施にも関する。
【0009】
[0025] ＢＣＩ技術が患者によりよく適し、一般大衆に有用であり、現実世界タスクの制御に利用されるには、現在の実施と比較して、自然な対話ペースに合うように情報伝達率を改善する必要があり、エラーレートを下げる必要があり、及び対話インターフェースの複雑性を最小にする必要がある。更に、ＢＣＩ用途は、ユーザからの高い認知負荷を要求し、したがって、ＵＩは、静かな研究所環境から離れて現実世界に移るように改善する必要がある。ＢＣＩデバイス及びアプリケーションをより容易及びより直観的に構成するには、高速及び高精度で動作して、自然で直観的なプロセスを通してユーザ仲介動作選択を可能にする、脳マシンインターフェースの実施における改善されたデバイス及び技法が必要とされる。
【0010】
ハイブリッドＢＣＩシステム
[0026] 本明細書に記載されるように、ＢＣＩは、脳活動単独でコンピュータ又は外部デバイスを制御できるようにするハードウェア及びソフトウェア通信システムである。ハイブリッドＢＣＩシステムは、インターフェースを通した刺激の表示、インターフェース上のユーザの焦点を位置特定するハードウェア装置、脳活動を記録し及び処理するデバイス及びユーザの環境にわたる制御に変換され得るインターフェースの制御を行う装置を含む。これらの標準特徴は、（１）ポインティング制御特徴、（２）動作制御特徴、及び（３）ＵＩ特徴として特徴付けることができる。ポインティング制御特徴は、ユーザが制御する１つ又は複数のマニピュレータの小さい組に狭められるようにするマウスポインタのような従来のポインティングデバイスに類似し得る。動作制御特徴は、ユーザが、ＵＩへの変更、したがって接続されたマシンへの変更を行う動作を実施できるようにする選択デバイス、例えばマウスクリック又はキーボードでの打鍵に類似し得る。ハイブリッドＢＣＩシステムでのＵＩ特徴は、選択メニュー、ナビゲーション制御等の提供のような他の特徴に加えて、ポインティング特徴及び動作制御特徴を実施する環境をもたらし、維持するオペレーティングシステムに類似し得る。
[0026] 本明細書に記載されるように、ＢＣＩは、脳活動単独でコンピュータ又は外部デバイスを制御できるようにするハードウェア及びソフトウェア通信システムである。ハイブリッドＢＣＩシステムは、インターフェースを通した刺激の表示、インターフェース上のユーザの焦点を位置特定するハードウェア装置、脳活動を記録し及び処理するデバイス及びユーザの環境にわたる制御に変換され得るインターフェースの制御を行う装置を含む。これらの標準特徴は、（１）ポインティング制御特徴、（２）動作制御特徴、及び（３）ＵＩ特徴として特徴付けることができる。ポインティング制御特徴は、ユーザが制御する１つ又は複数のマニピュレータの小さい組に狭められるようにするマウスポインタのような従来のポインティングデバイスに類似し得る。動作制御特徴は、ユーザが、ＵＩへの変更、したがって接続されたマシンへの変更を行う動作を実施できるようにする選択デバイス、例えばマウスクリック又はキーボードでの打鍵に類似し得る。ハイブリッドＢＣＩシステムでのＵＩ特徴は、選択メニュー、ナビゲーション制御等の提供のような他の特徴に加えて、ポインティング特徴及び動作制御特徴を実施する環境をもたらし、維持するオペレーティングシステムに類似し得る。
【0011】
[0027] 動作制御特徴によって実行される動作は、多くのうちの１つであり得、種々のデバイス又はマシンを制御するように設計された種々のバージョンのＵＩに適するように構成することができる。少数の例を挙げれば、動作は、ＵＩのアクティブ化若しくは非アクティブ化又はＵＩの連続変更若しくは半連続変更（例えば、スクロール、ホバリング、ピンチ、ズーム、チルト、回転、スワイプ等）であり得る。動作は、強調表示等のような離散した開始及び停止を有するＵＩへの急な変更を行うこともできる。ＵＩを介した動作制御の幾つかの他の例は、仮想キーボード制御、メニューナビゲーション、オブジェクト又はアイテムを配置及び配置解除する動作、オブジェクト又はアイテムを移動させる動作、オブジェクトの拡大及び／又は縮小、一人称視点観察者又はプレーヤの移動又はナビゲーション、観察者の視点変更及びグラッブ、ピック又はホバリングのような動作を含むことができる。動作制御のこれらの態様の幾つかについて以下に開示する。
【0012】
[0028] 本明細書に記載されるハイブリッドＢＣＩシステムの幾つかの実施形態では、ポインティング制御特徴及びユーザの焦点を識別する方法は、眼球追跡デバイスを含むことができる。幾つかの実施形態では、動作制御特徴及びユーザの意図を識別する方法は、脳における神経信号を監視する任意の適した形態を含むことができる。これは、任意の形態の脳記録活動、例えば電気的撮像、光学的撮像又は磁気的撮像のような脳撮像法を含むことができる。例えば、幾つかの実施形態では、ハイブリッドＢＣＩシステムは、増幅器及びユーザの脳信号をＢＣＩコマンドに変換するプロセッサを通される脳活動の神経信号を記録する電極を使用することができる。幾つかの実施形態では、ハイブリッドＢＣＩシステムは、脳活動ベースのマシン制御を実施する高度なＵＩを実施することができる。後述するように、これらの特徴の１つ又は複数への特定の適合は、ハイブリッドＢＣＩシステムとの人間の対話の高い速度及び精度を達成するために実施することができる。例えば、幾つかの実施形態では、ハイブリッドＢＣＩシステムは、２０１７年８月２５日付けで出願された「Brain-computer interface with high-speed eye tracking features」という名称の米国特許出願第６２／５４９，２５３号（「‘２５３号出願」）、‘２５３号出願の優先権を主張する、２０１８年８月２２日付けで出願された「Brain-computer interface with high-speed eye tracking features」という名称の国際特許出願ＰＣＴ／米国特許出願公開第２０１８／０４７５９８号及び２０１８年９月２１日付けで出願された「Brain-computer interface using high-speed and accurate tracking of user interactions」という名称の米国特許出願公開第１６／１３８，７９１号に記載されているものと略同様であり得る。これらの各出願の開示は、全体的に参照により本明細書に援用される。
【0013】
[0029] 図１は、実施形態によるハイブリッド脳コンピュータインターフェースシステム１００の概略図である。一例のハイブリッド脳コンピュータインターフェースシステム１００（本明細書では「ハイブリッドＢＣＩシステム」、又は「ＢＣＩシステム」、又は「システム」とも呼ばれる）は、眼球追跡器１０２（例えば、ビデオベースの眼球追跡器）と、ユーザの脳の１つ又は複数の制御信号を記録する神経記録ヘッドセット１０４とを含む眼球運動－神経統合ハイブリッドＢＣＩシステムである。ハイブリッドＢＣＩシステムは、任意選択的に、眼球運動－神経ハイブリッドと統合することができるＥＭＧ信号を記録する筋電計（ＥＭＧ）を含むこともできる。ビデオベースの眼球追跡器１０２は、任意の時間におけるユーザの焦点を示すユーザ１０２の目の眼球運動応答を捕捉、記録及び送信するように構成することができる（すなわちポインティング制御特徴）。神経記録ヘッドセット１０４は、１つ又は複数の脳領域から、ユーザの認知意図を示す神経制御信号を捕捉、記録及び送信するように構成することができる（すなわち動作制御特徴）。神経制御信号は、任意の適した手法を通して記録される任意の形態の神経活動、例えば脳波図（ＥＥＧ）、皮質脳波記録（ＥＣｏＧ）又は脳磁気図（ＭＥＧ）等であり得る。神経活動の形態例には、事象関連電位（ＥＲＰ）、運動イメージ、定常状態視覚誘発電位（ＳＳＶＥＰ）、遷移視覚誘発電位（ＴＶＥＰ）、脳状態コマンド、視覚誘発電位（ＶＥＰ）、Ｐ３００誘発電位、感覚誘発電位、運動誘発電位のような誘発電位、ミューリズム又はベータリズム等の感覚運動リズム、事象関連脱同期（ＥＲＤ）、事象関連同期（ＥＲＳ）、緩変動電位（ＳＣＰ）等がある。一例のハイブリッドＢＣＩシステム１００は、脳－コンピュータインターフェースデバイス１１０及び任意選択的に視聴覚ディスプレイ１０６も含む。
【0014】
[0030] ハイブリッドＢＣＩシステム１００の幾つかの実施形態では、収集された神経データ及び眼球運動データは、どのような刺激が提示されたかについてのデータと共にアンサンブルとして信号を処理する脳－コンピュータインターフェースデバイス１１０に通信することができる。結合された情報を用いて、脳－コンピュータインターフェースデバイス１１０は、統計モデルに基づいて、関連する信号特徴を検出し、ユーザの意図を予測することができる。この予測された意図は、次に、例えばディスプレイ１０６を通して提示されるＵＩを介してユーザに通信することができ、ＵＩ及び任意の接続された制御可能マシンにおいて変更を行うために使用することができる。ハイブリッドＢＣＩシステム１００の幾つかの実施形態は、他の周辺機器センサ及びアクチュエータ（図１に示されず）を含むこともでき、それにより音、タッチ、向きのような他のモダリティを通してユーザの挙動についてのデータを収集し、リッチなマルチモーダルＵＸを提示することができる。
【0015】
二次元又は三次元空間における眼球追跡 － ポインティング制御特徴
[0031] 幾つかの実施形態では、ビデオベースの眼球追跡器１０２は、二次元又は三次元空間においてユーザの眼球運動を高速で辿ることにより、ユーザが視野内の何れの箇所を見ているかを特定するために使用することができる。例えば、ユーザが眼球運動の自発的な制御を有する場合、ビデオベースの眼球追跡器１０２は、各目が「指している」視野内のサブ空間を特定するために使用することができる。換言すれば、ビデオベースの眼球追跡器１０２は、ユーザの眼球運動軌跡をポインティング制御特徴として使用し、対象者の意図及び挙動についての有意な情報を明らかにすることができる。幾つかの実施形態では、視覚空間内の何れの箇所に注目が集められているか、フォーカスしている刺激がどのようなものであるか、又はどのような刺激に応答しているかの態様は、ＢＣＩシステム１００において効率的に使用することができる。互いに関して両目の運動軌跡を同時に追跡することにより、ビデオベースの眼球追跡器１０２は、ユーザの焦点深度を登録することもでき、それにより三次元空間においてポインティング制御を可能にすることができる。
[0031] 幾つかの実施形態では、ビデオベースの眼球追跡器１０２は、二次元又は三次元空間においてユーザの眼球運動を高速で辿ることにより、ユーザが視野内の何れの箇所を見ているかを特定するために使用することができる。例えば、ユーザが眼球運動の自発的な制御を有する場合、ビデオベースの眼球追跡器１０２は、各目が「指している」視野内のサブ空間を特定するために使用することができる。換言すれば、ビデオベースの眼球追跡器１０２は、ユーザの眼球運動軌跡をポインティング制御特徴として使用し、対象者の意図及び挙動についての有意な情報を明らかにすることができる。幾つかの実施形態では、視覚空間内の何れの箇所に注目が集められているか、フォーカスしている刺激がどのようなものであるか、又はどのような刺激に応答しているかの態様は、ＢＣＩシステム１００において効率的に使用することができる。互いに関して両目の運動軌跡を同時に追跡することにより、ビデオベースの眼球追跡器１０２は、ユーザの焦点深度を登録することもでき、それにより三次元空間においてポインティング制御を可能にすることができる。
【0016】
[0032] 幾つかの実施形態では、ビデオベースの眼球追跡器１０２は、ヘッドマウント眼球追跡ビデオカメラを使用して、ユーザの瞳孔及び照明源の第１表面角膜反射（ＣＲ）に依存してユーザの目を撮像する。これらの２つの特徴間の位置差は、観察者の頭部内の目の向きの特定に使用することができる。ビデオベースの眼球追跡器１０２として使用することができる幾つかのヘッドマウント眼球追跡デバイス例は、市販のベンダーの中でも特にSenseMotoric Instruments、Tobii Eye Tracking及びPupil-labsから入手可能である。幾つかの実施形態では、ビデオベースの眼球追跡器１０２は、ユーザの目を照明する１つ又は複数の照明源を含むことができる。照明源は、任意の適した波長の光を発し、任意の適した位置に搭載することができる。照明源は、機能制御及びデータ送信等のために有線又は無線通信を通して接続することができる。
【0017】
[0033] ビデオベースの眼球追跡器１０２は、各目からの瞳孔及び１つ又は複数の照明源の角膜反射を同時に撮像するように構成された左眼カメラ及び右眼カメラを含むことができる。カメラは、有線又は無線接続を通して互いに接続することができ、図１に示される脳－コンピュータインターフェース（ＢＣＩ）デバイス１１０のような外部デバイスに接続することができる。ビデオベースの眼球追跡器は、ユーザの視野を捕捉する追加のシーンカメラを含むこともできる。シーンカメラからの信号は、有線又は無線通信方法を通してＢＣＩデバイス１１０のような外部デバイスに中継することもできる。
【0018】
[0034] 幾つかの実施形態では、ビデオベースの眼球追跡器１０２は、虹彩によって最適に反射され、人間には不可視であるため、ユーザを邪魔しないか又はユーザを混乱させない近赤外線（ＩＲ）照明源を使用することができる。強いＩＲ反射は、瞳孔検出に特に有益な高コントラスト像を生成することができる。幾つかの実施形態では、ビデオベースの眼球追跡器１０２は、コリメート遠範囲光源を使用することができ、それにより平行光線が離れた照明源から発せられ、光学構成要素によってコリメートされる。幾つかの実施形態では、ビデオベースの眼球追跡器１０２は、非コリメート近源を眼の照明に使用することができ、それにより、照明源は、目から有限距離（通常５０ｍｍ以下）に搭載され、光源と目との間に光線をコリメートするための光学構成要素がない。
【0019】
[0035] 本明細書に記載されるように、ビデオベースの眼球追跡器１０２は、目から反射された光を利用し、この光は、ビデオカメラ又はこの用途向けに特に設計された何らかの任意の他の適した光学センサによって検知される。次に、検知された光は、分析されて、反射の変化から目の回転を抽出する。幾つかの実施形態では、ビデオベースの眼球追跡器１０２は、角膜反射（すなわち第１プルキンエ像）及び瞳孔中心を経時追跡する特徴として使用することができる。幾つかの実施形態では、ビデオベースの眼球追跡器１０２は、より高感度の手法では、眼球運動を追跡するための特徴として、角膜の前からの反射（すなわち第１プルキンエ像）及びレンズの背面からの反射（すなわち第４プルキンエ像）を使用することができる。幾つかの実施形態では、ビデオベースの眼球追跡器１０２は、例えば、網膜血管等の眼内の特徴を撮像し、目が回転する際のこれらの特徴の運動を辿ることにより、更に高感度の追跡方法を使用することができる。
【0020】
[0036] 幾つかの実施形態では、ビデオベースの眼球追跡器１０２は、後述するように統合ディスプレイを含むことができる。ディスプレイ１０６と統合されたビデオベースの眼球追跡器１０２は、仮想現実空間を見るように構成されたシステムであり得る。幾つかの実施形態では、ディスプレイ１０６と統合されたビデオベースの眼球追跡器１０２は、拡張現実空間を見るように構成することができる。換言すれば、ディスプレイ１０６を通して提示される重ねられたＵＩに加えて、１つの眼鏡として現実世界を見るように機能する。
【0021】
脳信号の神経記録 － 動作制御特徴
[0037] ハイブリッドＢＣＩシステム１００の目的は、脳活動の監視からのユーザ意図を解釈することにより、外部マシンを能動的に制御することである。この目的の中核は、ユーザの意図を示すことができる脳信号であり、それにより、脳信号は、動作制御特徴になる。ハイブリッドＢＣＩシステム１００は、ユーザによって実行される認知タスクによって同時に誘発又は関連する幾つかのシグネチャ脳信号の１つ又は複数を使用することができる。これらの脳信号の幾つかは、人々が随意に変調することを学習し得る方法で復号化することができる。制御信号とされるこれらの信号の使用により、ハイブリッドＢＣＩシステム１００は、ユーザの意図を解釈することが可能になる。
[0037] ハイブリッドＢＣＩシステム１００の目的は、脳活動の監視からのユーザ意図を解釈することにより、外部マシンを能動的に制御することである。この目的の中核は、ユーザの意図を示すことができる脳信号であり、それにより、脳信号は、動作制御特徴になる。ハイブリッドＢＣＩシステム１００は、ユーザによって実行される認知タスクによって同時に誘発又は関連する幾つかのシグネチャ脳信号の１つ又は複数を使用することができる。これらの脳信号の幾つかは、人々が随意に変調することを学習し得る方法で復号化することができる。制御信号とされるこれらの信号の使用により、ハイブリッドＢＣＩシステム１００は、ユーザの意図を解釈することが可能になる。
【0022】
[0038] 電気生理学的起源の神経活動は、ニューロン間で情報を交換する電気化学伝達物質によって生成される。ニューロンは、神経細胞群内及び神経細胞群間を流れるイオン電流を生成する。多様な電流経路は、ソースから樹状トランクを通してシンクまで電流を伝導するダイポールとして簡易化することができる。これらの細胞内電流は、一次電流として知られている。電荷の保存は、一次電流が、二次電流として知られる細胞外電流によって囲まれることを決定付ける。
【0023】
[0039] 神経記録ヘッドセット１０４は、任意の適した手法に従って神経活動を記録するように構成することができる。神経活動は、一次電流を電気的に監視することにより、直接又は二次電流を電気的に記録することによって記録することができる。更に、神経活動は、一次電流による光学変化を記録することにより、光学撮像（例えば、機能的磁気共鳴画像、ｆＭＲＩ）のような他の方法を通して監視することもできる。使用することができる脳の神経活動を記録する他の手法には、脳波図（ＥＥＧ）、硬膜外及び硬膜下皮質脳波記録（ＥＣｏＧ）、機能的近赤外線撮像並びに他の同様の内因性信号撮像法、脳磁気図（ＭＥＧ）、マルチ電極記録、シングルニューロン皮質内記録等がある。
【0024】
[0040] 神経活動の形態の種々のシグネチャ脳信号は、動作制御特徴の実施に使用される制御信号として使用することができる。時間における神経活動の幾つかの例には、事象関連電位（ＥＲＰ）、運動イメージ、定常状態視覚誘発電位（ＳＳＶＥＰ）、遷移視覚誘発電位（ＴＶＥＰ）、脳状態コマンド、視覚誘発電位（ＶＥＰ）、Ｐ３００誘発電位、感覚誘発電位、運動誘発電位等の誘発電位、ミューリズム又はベータリズム等の感覚運動リズム、事象関連脱同期（ＥＲＤ）、事象関連同期（ＥＲＳ）、緩変動電位（ＳＣＰ）等、及び種々の認知又は感覚運動タスクの土台をなす、依然として発見されていないシグネチャ活動電位としての他のものがある。神経活動は、周波数領域でもあり得る。幾つかの例として、特に感覚運動リズム、事象関連スペクトル摂動（ＥＲＳＰ）、シータ、ガンマ又はミューリズムのような特定の信号周波数帯域等がある。
【0025】
[0041] 本明細書に記載されるように、神経記録ヘッドセット１０４は、神経活動信号を記録して、脳活動を測定し、コマンドに変換することができる追跡可能な電気信号に情報を変換する記録段階を通して、ユーザ意図についての情報を収集することができる。幾つかの実施形態では、神経記録ヘッドセット１０４は、高い時間解像度、低コストの準備及び保守、高可搬性を有し、ユーザにとって非侵襲的な脳波図（ＥＥＧ）を通して電気生理学的活動を記録するように構成することができる。神経記録ヘッドセット１０４は、異なる脳部位から脳波記録信号を取得するセンサを有する電極の組を含むことができる。これらのセンサは、ニューロンにおける樹状突起のシナプス励起中の電流フローによって生じ、それにより二次電流の効果を中継する電気信号を測定することができる。神経信号は、ユーザの頭皮に配置されたとき、所望の脳部位に適宜配置される神経記録ヘッドセット１０４における電極を通して記録することができる。神経記録ヘッドセット例は、特に、Biosemi、Wearable Sensing及びG.Tecのような市販のベンダーから入手し得る。
【0026】
[0042] 幾つかの実施形態では、神経記録ヘッドセット１０４は、電極、増幅器、Ａ／Ｄ変換器及び記録デバイスを含むことができる。幾つかの実施形態では、神経記録ヘッドセット１０４における電極は、頭皮から信号を取得することができ、増幅器は、アナログ信号を増幅して、神経信号の振幅を拡大することができる。神経記録ヘッドセット１０４は、電極の数に合った適切な数の信号取得チャネルを有するように構成することができる。幾つかの実施形態では、神経記録ヘッドセット１０４に配置された１つ又は複数の電極は、増幅器、Ａ／Ｄ変換器及び各電極からの信号を記憶する１つ又は複数の記録デバイスのような構成要素に接続することができる。幾つかの実施形態では、これらの構成要素は、神経記録ヘッドセット１０４に収容することができる。幾つかの実施形態では、即時信号増幅のみが神経記録ヘッドセット１０４において実行することができ、Ａ／Ｄ変換及び記録のような他のプロセスは、信号をＢ－Ｃ統合デバイス１１０に転送した後に実行することができる。神経記録ヘッドセット１０４からの信号転送は、有線又は無線通信チャネルを通して構成することができる。
【0027】
[0043] 幾つかの実施形態では、神経記録ヘッドセット１０４における電極は、米国脳波学会によって規格化された一般に準拠される国際１０－２０系に基づいて頭皮に置かれるように配置することができる。１０－２０系は、頭部の２つの基準点を使用して、電極ロケーションを定義する。これらの基準点の一方は、目と同じ高さで鼻の上に配置されるナジオンである。他方の基準点は、頭蓋底の骨隆起部に見られるイニオンである。横断面及び正中面は、これらの２点から頭蓋を分ける。幾つかの他の実施形態では、神経記録ヘッドセット１０４における電極は、任意の他の適した系に従って配置することができる。例えば、１０－５系又はカスタム電極配置系である。幾つかの実施形態では、神経記録ヘッドセット１０４における電極は、頭部の左右側に対称に置くことができる。他の実施形態では、電極は、頭部の左右側に非対称に置くことができる。他の実施形態では、電極は、頭部の特定の部分、例えば頭部の上部周囲、頭部の後部周囲、両耳の周囲、頭部の側部周囲又はそれらの組合せに置くことができる。
【0028】
[0044] 神経信号は、活性電極（信号電極とも呼ばれる）と基準電極との間の経時時間差として測定される。幾つかの実施形態では、接地電極として知られる第３の電極は、活性電極と基準電極との間の差動電圧を測定するために使用することができる。幾つかの実施形態では、神経記録ヘッドセット１０４は、１つ又は複数の活性電極、１つ又は複数の基準電極及び１つの接地電極を含むことができる。幾つかの実施形態では、神経記録ヘッドセット１０４は、７つという少数の活性電極を含むことができる。幾つかの実施形態では、神経記録ヘッドセットは、最高で１２８又は２５６の活性電極を含むことができる。電極は、塩化銀（ＡｇＣｌ）又は任意の他の適した材料で作ることができる。電極は、正確な信号を記録するように電極－頭皮接触インピーダンスが適宜調整可能であるように構成することができる。幾つかの実施形態では、神経記録ヘッドセット１０４は、２つ以上及び１６未満の活性電極を有することができるか、又は別の実施形態では、１２未満の活性電極を有することができるか、又は別の実施形態では８つ未満の活性電極を有することができる。
【0029】
[0045] ユーザの頭皮にわたり非侵襲的に記録された神経信号は、頭皮、頭蓋及び多くの他のレイヤを渡る必要があり、それにより、信号は、弱くなり、取得が難しくなり得る。神経細胞は、脳内又は頭皮にわたり外部的に生成される背景ノイズによっても影響を受け得、背景ノイズは、記録された信号から有意義な情報を抽出する能力に影響を及ぼし得る。神経記録ヘッドセット１０４を含むシステム１００の実施形態は、神経信号取得を改善する幾つかの適合を組み込むことができる。例えば、ゲル（すなわち導電性ゲル）は、皮膚と各電極との間に伝導路を作成して、インピーダンスを低減するために使用することができる。幾つかの実施形態では、神経記録ヘッドセット１０４は、ゲルを使用する必要がない「乾燥」電極を含むことができ、これは、チタン及びステンレス鋼等の他の材料で作ることができる。幾つかの実施形態では、神経記録ヘッドセット１０４は、非常に高い電極／皮膚界面インピーダンスに適応するために、前置増幅回路を有する乾燥活性電極を含むことができる。幾つかの実施形態では、神経記録ヘッドセット１０４は、いかなる能動回路も有さず、超高入力インピーダンスが構成された神経記録システムにリンクし得る乾燥受動電極を含むことができる。電気バイオ信号の振幅は、通常、マイクロボルトのオーダである。したがって、信号は、電気ノイズの影響を非常に受けやすい。幾つかの実施形態では、ＢＣＩシステム１００は、特に電磁干渉シールド又は共通モード信号の低減等の適合を用いてノイズの影響を低減するように設計することができる。
【0030】
[0046] 本明細書に記載されるように、神経記録ヘッドセット１０４は、神経活動信号を記録して、ユーザ意図についての情報を収集することができる。神経活動は、ユーザの意図を示す任意の形態の制御信号であり得る。制御信号の一例は、いわゆる運動イメージ信号の形態であり得る。運動イメージ信号は、運動イメージの心理過程を経ているユーザに関連する神経活動信号である。運動イメージの心理過程は、ユーザが脳裏で特定の動作をリハーサル又はシミュレートすることを含む。例えば、ユーザは、脳裏で指を指し、手首を回すというスワイプ動作をイメージ又はシミュレートし得る。運動イメージ信号は、例えば、ユーザが動作をイメージしている間、神経記録ヘッドセット１０４によって電気生理学的神経活動の形態で記録される脳信号である。運動イメージ信号の取得は、後述するようにユーザによる実際の運動を含むことも又は含まないこともある。
【0031】
[0047] 神経機能の幾つかの研究では、運動イメージは、運動制御の早期段階に関わる神経回路の特定の活性化（すなわち運動プログラミング）に関連することが実証されている。実際の運動及びイメージされた運動中に測定された神経活動の研究により、イメージされた運動からの運動イメージ信号は、脳領域の少なくともサブセットにおいて、実際の運動中に誘発される神経信号を密に近似することが示されている。幾つかの神経回路は、脳領域の中でも特に、補足運動野、一次運動野、下頭頂皮質、基底核及び小脳を含む。運動イメージ中及び実際の運動実行中の心臓活動及び呼吸活動の測定により、心拍数及び肺換気のイメージされた労力の程度との共変動が明らかになった。したがって、運動イメージは、実際の運動の計画された実行と同様に運動経路を活性化することが示された。
【0032】
[0048] ハイブリッドＢＣＩシステム１００の幾つかの実施形態は、運動イメージを使用して、動作制御特徴を実施することができる。例えば、ハイブリッドＢＣＩシステム１００は、運動イメージ信号に寄与することが知られている脳領域から神経活動データを収集するように適宜配置された神経記録ヘッドセット１０４を介して記録された神経活動信号を受信するように構成することができる。ハイブリッドＢＣＩシステム１００は、トレーニングされた様式又はトレーニングされていない様式の何れかで使用されて、ユーザがイメージした特定の運動行動に対応する運動イメージ信号を検出することができる。例えば、ユーザは、トレーニングセッションにおいて、実際の運動と共に運動イメージを実行することによってリハーサルし、スワイプ、ピンチ、ズーム及びユーザの体の他の単純又は複雑な運動のような１つ又は複数のイメージされたジェスチャを認識するようにハイブリッドＢＣＩシステム１００に教え得る。ハイブリッドＢＣＩシステムは、ゴニオメータ及び捻転計のような周辺機器センサ１０８によって収集された情報を使用して、トレーニングセッション又はテストセッション中、ジェスチャをかなり詳細に認識することも促進し得る。
【0033】
[0049] 動作中（トレーニングあり又はなし）、特定のジェスチャの運動イメージは、特定の動作を実施するように構成することができる。例えば、ピンチジェスチャの運動イメージは、ＵＩにおいてズームアウト動作を実施するように構成することができる。神経記録ヘッドセットから取得された神経活動データは、運動イメージ信号について分析することができ、検出され及び適宜分類されると、ＢＣＩデバイス１１０は、ＵＩの所望の部分において検出されたジェスチャに関連するその特定の動作を実施することができる。例えば、ピンチジェスチャに対応する運動イメージ信号が検出される場合、ＵＩは、ピンチ制御特徴を実施して、動作が望まれるＵＩの部分を識別し、次に所望の部分において動作制御特徴、すなわちズームアウト効果を実施することができる。
【0034】
ユーザインターフェース（ＵＩ）／ユーザ経験（ＵＸ）の表示及び提示
[0050] 本明細書に記載されるように、ハイブリッドＢＣＩシステム１００におけるＵＩは、ユーザ（例えば、ユーザの脳、目等）とＢＣインターフェースデバイス１１０との間の通信リンクとして機能し、ユーザがポインティング制御特徴を通して特定の刺激に焦点を合わせ及びポインティングし、動作制御特徴を使用して特定の刺激を選択又は選択解除できるようにする。ＵＩは、ディスプレイを介して提示される一連の視覚的に刺激する二次元画像であり得る。ＵＩは、一緒になって、これもインターフェースとして機能するＵＸと呼ぶことができるものを形成する、幾つかのモダリティでの刺激の豊富な混合でもあり得る。戦略的に設計されたＵＸは、任意のモダリティを通してユーザに刺激を提示するプロセスを含み、幾つかの例には、視覚刺激、聴覚刺激、触覚刺激、前庭刺激又はそれらの組合せがある。幾つかの実施形態では、視覚刺激を提示するＵＩを、図１に示されるディスプレイ１０６のようなディスプレイにレンダリングすることができる。他のモダリティの刺激は、これらもハイブリッドＢＣＩシステム１００の一部である適した周辺機器アクチュエータ（図１に示されず）を通して送達することができる。
[0050] 本明細書に記載されるように、ハイブリッドＢＣＩシステム１００におけるＵＩは、ユーザ（例えば、ユーザの脳、目等）とＢＣインターフェースデバイス１１０との間の通信リンクとして機能し、ユーザがポインティング制御特徴を通して特定の刺激に焦点を合わせ及びポインティングし、動作制御特徴を使用して特定の刺激を選択又は選択解除できるようにする。ＵＩは、ディスプレイを介して提示される一連の視覚的に刺激する二次元画像であり得る。ＵＩは、一緒になって、これもインターフェースとして機能するＵＸと呼ぶことができるものを形成する、幾つかのモダリティでの刺激の豊富な混合でもあり得る。戦略的に設計されたＵＸは、任意のモダリティを通してユーザに刺激を提示するプロセスを含み、幾つかの例には、視覚刺激、聴覚刺激、触覚刺激、前庭刺激又はそれらの組合せがある。幾つかの実施形態では、視覚刺激を提示するＵＩを、図１に示されるディスプレイ１０６のようなディスプレイにレンダリングすることができる。他のモダリティの刺激は、これらもハイブリッドＢＣＩシステム１００の一部である適した周辺機器アクチュエータ（図１に示されず）を通して送達することができる。
【0035】
[0051] 幾つかの実施形態では、ディスプレイ１０６は、ハイブリッドＢＣＩシステム１００の残りの部分に接続され、データ通信することができる別個のスタンドアロン視聴覚ディスプレイユニットであり得る。すなわち、オーディオシステム（例えば、スピーカ又はヘッドホン）を備えたスタンドアロンディスプレイ（例えば、液晶ディスプレイ）は、ハイブリッドＢＣＩシステム１００の他の構成要素の１つ又は複数、例えばＢＣインターフェースデバイス１１０、ビデオベースの眼球追跡器１０２及び神経記録ヘッドセット１０４と双方向通信することができる。幾つかの実施形態では、ディスプレイ１０６は、眼鏡エリアの部分であるようにビデオベースの眼球追跡器１０２に統合することができる。統合されたビデオベースの眼球追跡器１０２及びディスプレイ１０６は、ディスプレイ１０６に提示されるＵＩの形態で仮想現実空間を見るように構成することができる。幾つかの実施形態では、統合されたビデオベースの眼球追跡器１０２及びディスプレイ１０６は、ディスプレイ１０６が半透明眼鏡エリアにあり、ユーザが拡張現実空間を見られるようにするように構成することができる。すなわち、ユーザは、ユーザが対話することができるＵＩをユーザに提示する、これも統合ディスプレイ１０６である半透明眼鏡エリアを通して現実世界を見ることができる。
【0036】
非視覚モダリティで動作する周辺機器
[0052] 幾つかの実施形態では、ハイブリッドＢＣＩシステム１００は、図１において任意選択的なユニットとして示される（破線の枠で示される）幾つかの周辺機器アクチュエータ１１２及びセンサ１０８を含むことができる。１つ又は複数の周辺機器アクチュエータ１１２は、豊富なマルチモーダルＵＸを送達するように構成することができ、１つ又は複数の周辺機器センサ１０８は、ユーザ及びユーザの環境のそれぞれからマルチモーダル入力を捕捉するように構成することができる。これらの周辺機器アクチュエータ１１２及びセンサ１０８は、個々に又は他のデバイス（ビデオベースの眼球追跡器１０２のような）に組み込まれることによって適宜搭載することができる。例えば、ハイブリッドＢＣＩシステム１００は、聴覚刺激を中継するイヤホン及びユーザの音声コマンドのような音を捕捉するマイクロホンを含むことができる。イヤホン（聴覚センサ）及びマイクロホン（聴覚アクチュエータ）は、ハイブリッドシステム１００に有線又は無線チャネルを通して接続されるスタンドアロンデバイスの何れかであり得る。代替的に、イヤホン及びマイクロホンは、ビデオベースの眼球追跡器１０２又は神経記録ヘッドセット１０４と共に搭載及び統合することができる。同様に、加速度計、ゴニオメータ、捻転計のような周辺機器センサもハイブリッドＢＣＩシステム１００に含まれて、体の運動を登録することができる。例えば、ゴニオメータは、ジェスチャを形成する四肢の運動を登録するために使用することができ、加速度計は、体の運動の登録に使用することができる。周辺機器センサは、ユーザの現実世界視野を捕捉するように構成された視野カメラを含むこともできる。視野カメラによって取得された信号は、分析され、選択可能な選択肢等を有するＵＩが重ねられた現実世界イメージを有する拡張又は混合現実経験を生成し、ユーザに提示するために使用することができる。ハイブリッドＢＣＩシステム１００に接続することができる周辺機器アクチュエータは、提示されるＵＸを豊かにするタッチ及び振動のような力を与え及びもたらすことができる触覚又は運動感覚デバイスを含むことができる。
[0052] 幾つかの実施形態では、ハイブリッドＢＣＩシステム１００は、図１において任意選択的なユニットとして示される（破線の枠で示される）幾つかの周辺機器アクチュエータ１１２及びセンサ１０８を含むことができる。１つ又は複数の周辺機器アクチュエータ１１２は、豊富なマルチモーダルＵＸを送達するように構成することができ、１つ又は複数の周辺機器センサ１０８は、ユーザ及びユーザの環境のそれぞれからマルチモーダル入力を捕捉するように構成することができる。これらの周辺機器アクチュエータ１１２及びセンサ１０８は、個々に又は他のデバイス（ビデオベースの眼球追跡器１０２のような）に組み込まれることによって適宜搭載することができる。例えば、ハイブリッドＢＣＩシステム１００は、聴覚刺激を中継するイヤホン及びユーザの音声コマンドのような音を捕捉するマイクロホンを含むことができる。イヤホン（聴覚センサ）及びマイクロホン（聴覚アクチュエータ）は、ハイブリッドシステム１００に有線又は無線チャネルを通して接続されるスタンドアロンデバイスの何れかであり得る。代替的に、イヤホン及びマイクロホンは、ビデオベースの眼球追跡器１０２又は神経記録ヘッドセット１０４と共に搭載及び統合することができる。同様に、加速度計、ゴニオメータ、捻転計のような周辺機器センサもハイブリッドＢＣＩシステム１００に含まれて、体の運動を登録することができる。例えば、ゴニオメータは、ジェスチャを形成する四肢の運動を登録するために使用することができ、加速度計は、体の運動の登録に使用することができる。周辺機器センサは、ユーザの現実世界視野を捕捉するように構成された視野カメラを含むこともできる。視野カメラによって取得された信号は、分析され、選択可能な選択肢等を有するＵＩが重ねられた現実世界イメージを有する拡張又は混合現実経験を生成し、ユーザに提示するために使用することができる。ハイブリッドＢＣＩシステム１００に接続することができる周辺機器アクチュエータは、提示されるＵＸを豊かにするタッチ及び振動のような力を与え及びもたらすことができる触覚又は運動感覚デバイスを含むことができる。
【0037】
脳－コンピュータインターフェースデバイス
[0053] 幾つかの実施形態では、脳－コンピュータインターフェースデバイス（又はＢＣＩデバイス）１１０は、３つの主機能を達成するように構成することができる。第１に、ＢＣＩデバイス１１０は、戦略的に設計されたＵＩ又はＵＸを生成するように構成することができる。例えば、戦略的に設計されたＵＸは、トレーニングセッション又はテストセッションに向けられたものであり得る。幾つかの実施形態では、ＵＸは、仮想現実環境及び／又は拡張現実環境として設計することができる。幾つかの実施形態では、ＵＩは、例えば、特定のユーザ履歴、反応時間、ユーザの好み等の特定のニーズに合わせることができる。ＢＣＩデバイス１１０は、ＵＩ／ＵＸの生成及び更新においてこれらの全ての要件を考慮することができる。第２に、ＵＩ／ＵＸの設計及び生成に加えて、ＢＣインターフェースデバイス１１０は、ポインティング制御信号を受信し（例えば、ビデオベースの眼球追跡器１０２から）、動作制御信号を受信し（例えば、神経記録ヘッドセット１０４から）、信号をアンサンブルとして処理して、ユーザの意図を特定するように構成することができる。最後に、ＢＣＩデバイス１１０は、（１）神経信号から有意義な特徴を検出し、（２）ユーザの意図に従ってポインティングしている刺激への変更を実施することにより、ポインティング制御特徴及び動作制御特徴を実施するように構成することができる。幾つかの実施形態では、ＢＣＩデバイス１１０は、上述した視覚モダリティ以外のモダリティで機能し、ハイブリッドＢＣＩシステム１００の一部であり得る他の周辺機器デバイス、例えば周辺機器センサ及びアクチュエータに接続することもできる。そのような周辺機器センサは、オーディオマイクロホン、触覚センサ、加速度計、ゴニオメータ等を含み得、周辺機器アクチュエータは、オーディオスピーカ、触覚刺激提供器等を含むことができる。
[0053] 幾つかの実施形態では、脳－コンピュータインターフェースデバイス（又はＢＣＩデバイス）１１０は、３つの主機能を達成するように構成することができる。第１に、ＢＣＩデバイス１１０は、戦略的に設計されたＵＩ又はＵＸを生成するように構成することができる。例えば、戦略的に設計されたＵＸは、トレーニングセッション又はテストセッションに向けられたものであり得る。幾つかの実施形態では、ＵＸは、仮想現実環境及び／又は拡張現実環境として設計することができる。幾つかの実施形態では、ＵＩは、例えば、特定のユーザ履歴、反応時間、ユーザの好み等の特定のニーズに合わせることができる。ＢＣＩデバイス１１０は、ＵＩ／ＵＸの生成及び更新においてこれらの全ての要件を考慮することができる。第２に、ＵＩ／ＵＸの設計及び生成に加えて、ＢＣインターフェースデバイス１１０は、ポインティング制御信号を受信し（例えば、ビデオベースの眼球追跡器１０２から）、動作制御信号を受信し（例えば、神経記録ヘッドセット１０４から）、信号をアンサンブルとして処理して、ユーザの意図を特定するように構成することができる。最後に、ＢＣＩデバイス１１０は、（１）神経信号から有意義な特徴を検出し、（２）ユーザの意図に従ってポインティングしている刺激への変更を実施することにより、ポインティング制御特徴及び動作制御特徴を実施するように構成することができる。幾つかの実施形態では、ＢＣＩデバイス１１０は、上述した視覚モダリティ以外のモダリティで機能し、ハイブリッドＢＣＩシステム１００の一部であり得る他の周辺機器デバイス、例えば周辺機器センサ及びアクチュエータに接続することもできる。そのような周辺機器センサは、オーディオマイクロホン、触覚センサ、加速度計、ゴニオメータ等を含み得、周辺機器アクチュエータは、オーディオスピーカ、触覚刺激提供器等を含むことができる。
【0038】
[0054] 幾つかの実施形態では、ＢＣＩデバイス１１０は、有線又は無線通信チャネルを通してＢＣＩデバイス１１０から信号を受信し、ＢＣＩデバイス１１０から１つ又は複数の外部デバイスに信号を送信するように構成された入力／出力ユニット１４０を含むことができる。例えば、入力／出力ユニット１４０は、１つ又は複数のデータ通信ポートを通してビデオベースの眼球追跡器１０２、神経記録ヘッドセット１０４及び任意選択的な視聴覚ディスプレイ１０６と信号を送受信することができる。ＢＣＩデバイス１１０は、リモートサーバ（図１に示されず）に接続し、リモートサーバに含まれるデータベース又は他の適した情報にアクセスすることが可能であるように構成することもできる。ＢＣＩデバイス１１０は、転送するデータのタイプに適合した通信に適したチャネルを処理するように構成された通信機１８０を含むことができる。通信機１８０は、ＢＣＩデバイス１１０の部分の中でも特にＩ／Ｏユニット１４０に接続され、入力／出力ユニット１４０の機能を制御することができる。信号の転送は、有線Ethernet、シリアル、FireWire若しくはＵＳＢ接続のような有線接続を通して又はBluetooth、近距離通信等のような任意の適した通信チャネルを通して無線で実行することもできる。
【0039】
[0055] 幾つかの実施形態では、ＢＣＩデバイス１１０における入力／出力ユニット１４０の機能は、信号取得、信号事前処理及び／又は信号強化等のような幾つかの手順を含むことができる。取得及び／又は事前処理された信号は、ＢＣインターフェースデバイス１１０内のプロセッサ１２０に通すことができる。幾つかの実施形態では、プロセッサ１２０及びそのサブ構成要素（図示せず）は、入力データを処理し、メモリ１６０にデータを送信し、メモリ１６０からデータを検索するように構成することができる。プロセッサ１２０は、通信機１８０に接続されて、リモートサーバ（図１に示されず）からの情報にアクセスし及びそれを利用することもできる。
【0040】
[0056] ＢＣＩデバイス１１０におけるプロセッサ１２０は、ディスプレイ１０６又はビデオベースの眼球追跡器１０２と統合されたディスプレイにレンダリングすることができるＵＩを構築及び維持する機能を実行するように構成することができる。幾つかの実施形態では、プロセッサ１２０及びそのサブ構成要素は、脳信号のユーザ固有の解釈を可能にする機能及び外部デバイスに中継される出力信号を入力／出力ユニット１４０にパッケージングする機能を実行するように構成することができる。プロセッサ１２０及びそのサブ構成要素の他の機能は、特徴の抽出、分類及び制御インターフェースの操作のような幾つかの手順を含むことができる。
【0041】
選択肢のポインティング及び選択 － ハイブリッドＢＣＩシステムの動作
[0057] 図２は、入力記号例に焦点を合わせ、入力記号例の選択を制御するユーザの例示の一例のハイブリッドＢＣＩシステムの動作を示す。図２における一連の動作事象の説明のための例は、ＵＩ又はＵＸの提示中、１人又は複数のユーザの眼球運動信号及び神経活動を捕捉することと、これらの信号を解釈して、ユーザの意図を推測することと、ＵＩを介して１つ又は複数のマシンを制御することによって変更を行うこととを含む。ハイブリッドＢＣＩシステムの動作のこの例示のための例は、ステップ２５１において、ＵＩ２７１を通して入力刺激（例えば、記号）を提示することで開始される。刺激を提示すると、眼球運動及びユーザからの神経応答に従い、ステップ２５３において、ハイブリッドＢＣＩシステムは、１つ又は複数の眼球運動信号２７５（例えば、ビデオベースの眼球追跡器からのポインティング制御特徴を実施する眼球運動を示す）を取得する。ステップ２５３において、ハイブリッドＢＣＩシステムは、１つ又は複数の神経活動信号２７３（例えば、神経記録ヘッドセットからのユーザの認知意図を示す動作制御特徴を実施する）を受信することもできる。この信号取得ステップ２５３は、他の周辺機器センサ及びアクチュエータから信号を受信することと、図２において刺激情報２７７で示される刺激提示についての情報を受信することとを含むことができる。
[0057] 図２は、入力記号例に焦点を合わせ、入力記号例の選択を制御するユーザの例示の一例のハイブリッドＢＣＩシステムの動作を示す。図２における一連の動作事象の説明のための例は、ＵＩ又はＵＸの提示中、１人又は複数のユーザの眼球運動信号及び神経活動を捕捉することと、これらの信号を解釈して、ユーザの意図を推測することと、ＵＩを介して１つ又は複数のマシンを制御することによって変更を行うこととを含む。ハイブリッドＢＣＩシステムの動作のこの例示のための例は、ステップ２５１において、ＵＩ２７１を通して入力刺激（例えば、記号）を提示することで開始される。刺激を提示すると、眼球運動及びユーザからの神経応答に従い、ステップ２５３において、ハイブリッドＢＣＩシステムは、１つ又は複数の眼球運動信号２７５（例えば、ビデオベースの眼球追跡器からのポインティング制御特徴を実施する眼球運動を示す）を取得する。ステップ２５３において、ハイブリッドＢＣＩシステムは、１つ又は複数の神経活動信号２７３（例えば、神経記録ヘッドセットからのユーザの認知意図を示す動作制御特徴を実施する）を受信することもできる。この信号取得ステップ２５３は、他の周辺機器センサ及びアクチュエータから信号を受信することと、図２において刺激情報２７７で示される刺激提示についての情報を受信することとを含むことができる。
【0042】
[0058] ステップ２５５は、取得された眼球運動信号２７５及び神経信号２７３のアンサンブル分析を含み、以下に開示するように統合手法で実行することができる。ビデオベースの眼球追跡器、神経記録ヘッドセット及び他の周辺機器デバイスからの信号のアンサンブル分析は、刺激情報２７７（例えば、提示された刺激の時空間属性）の状況で実行される。分析されると、特定ステップ２５７において、ハイブリッドＢＣＩシステムは、幾つかのソースからの情報、例えば取得された信号、ＵＩ２７１を通して提示されている刺激についての情報、ユーザについての事前情報、ＵＩ２７１及びハイブリッドＢＣＩシステムの使用状況を使用してユーザの意図を推定することができる。ユーザの意図に従って行動するとの特定後、任意の適した動作を続け得る。例えば、提示された刺激を選択又は選択解除するとの予測である。ユーザの意図の推定は、１つ又は複数の機械学習ツールを使用して、１つ又は複数の推定方法を通して実行することができる。特定ステップ２５７は、１つ又は複数の基準又は閾値を使用して、任意の適した閾値交差アルゴリズムに基づいてユーザの意図を特定することができる。例えば、推定の結果が閾値基準を交差する場合、ハイブリッドＢＣＩシステムは、ステップ２５９Ａに進むことができ、ステップ２５９Ａは、ＵＩ２７１に提示された刺激又は記号の選択を含み、それにより接続されたマシンへの適した変更が行われ得る。他方では、例えばステップ２５７において、推定された値が閾値基準を交差しない場合、ハイブリッドＢＣＩシステムは、ステップ２５９Ｂに進むことができ、ステップ２５９Ｂは、インターフェース２７１における刺激又は記号の選択を含まない。
【0043】
ハイブリッドＢＣＩシステムとのユーザ対話
[0059] 図３Ａ～図３Ｅは、実施形態によるハイブリッドＢＣＩシステム１００とのユーザ対話の一例を示す。この例では、ハイブリッドＢＣＩシステム１００は、２ステッププロセスで言葉を綴るために使用されており、図３Ａでは、ディスプレイ１０６は、文字の幾つかのサブグループ（例えば、キーボードで一般に見られる文字、数字及び記号）をＵＩ３７１上に提示する。ユーザは、図３Ｃに示されるビデオベースの眼球追跡器１０２及び神経記録ヘッドセット１０４を装着する。ユーザが所望の文字を含むサブグループ（例えば、図３Ａにおいて強調表示された円で示されるサブグループ）に注視を合わせる場合、ディスプレイ１０６に提示されたＵＩ３７１は、焦点が合わせられたサブグループが拡大されている、図３Ｂに示されるものに変わる。次に、ユーザは、そのサブグループ内の特定の所望の文字に注視を合わせることによって文字を選択する動作を実行することができる。次に、動作制御特徴は、記録された神経活動を使用して、言葉又は文章の形成に使用する文字の選択を実行することによって実施される。
[0059] 図３Ａ～図３Ｅは、実施形態によるハイブリッドＢＣＩシステム１００とのユーザ対話の一例を示す。この例では、ハイブリッドＢＣＩシステム１００は、２ステッププロセスで言葉を綴るために使用されており、図３Ａでは、ディスプレイ１０６は、文字の幾つかのサブグループ（例えば、キーボードで一般に見られる文字、数字及び記号）をＵＩ３７１上に提示する。ユーザは、図３Ｃに示されるビデオベースの眼球追跡器１０２及び神経記録ヘッドセット１０４を装着する。ユーザが所望の文字を含むサブグループ（例えば、図３Ａにおいて強調表示された円で示されるサブグループ）に注視を合わせる場合、ディスプレイ１０６に提示されたＵＩ３７１は、焦点が合わせられたサブグループが拡大されている、図３Ｂに示されるものに変わる。次に、ユーザは、そのサブグループ内の特定の所望の文字に注視を合わせることによって文字を選択する動作を実行することができる。次に、動作制御特徴は、記録された神経活動を使用して、言葉又は文章の形成に使用する文字の選択を実行することによって実施される。
【0044】
[0060] 図３Ａ及び図３Ｂを参照して上述したポインティング制御特徴は、図３Ｃに示されるビデオベースの眼球追跡器１０２によって取得されたデータを用いて実施される。ビデオベースの眼球追跡器１０２は、ユーザが注視を合わせている場所を検出し、次に例えば図３Ｄに示されるように信号を出力するように構成することができる。追加又は代替として、ビデオベースの眼球追跡器１０２は、ユーザが注視を合わせていない場所を検出するように構成することができる。動作制御特徴（すなわち刺激又は記号のアクティブ化）は、図３Ｃに示される神経記録ヘッドセット１０４によって記録されたデータを用いて実施される。神経記録ヘッドセット１０４は、ユーザの脳からの神経信号を記録し、次に例えば図３Ｅに示されるように信号を出力するように構成される。次に、プロセッサ（図示せず）は、眼球追跡信号（図３Ｄ）及び神経信号（図３Ｅ）から有意義な特徴をアンサンブルとして抽出し、教師なし及び／又は半教師ありで又は特定の各ユーザとの厳格なトレーニングを通して構築された事前モデルに基づいて信号を分類することによって分析することができる。次に、分析されたデータは、ユーザの焦点及び／又は合焦が予測された記号の選択又はアクティブ化等のユーザ挙動の予測を行うために使用することができる。
【0045】
ハイブリッドＢＣＩシステムの動作
[0061] 図２に示されるプロセスシーケンス並びに図３Ａ～図３Ｅに示されるポインティング制御及び動作制御実施の例は、個々の刺激で例示することができるが、ＵＩ又はＵＸを介した仮想環境又は拡張マルチモーダル環境の提示中、同様のシーケンスのステップを有する同様のプロセスに従うことができる。図４に示されるように、プロセス４００は、トレーニングセッションを形成する一連のサブステップ（任意選択的なものとして破線の枠で示されている）を含むことができるか、又は任意のトレーニングデータなしで新規の刺激の提示に使用することができる。
[0061] 図２に示されるプロセスシーケンス並びに図３Ａ～図３Ｅに示されるポインティング制御及び動作制御実施の例は、個々の刺激で例示することができるが、ＵＩ又はＵＸを介した仮想環境又は拡張マルチモーダル環境の提示中、同様のシーケンスのステップを有する同様のプロセスに従うことができる。図４に示されるように、プロセス４００は、トレーニングセッションを形成する一連のサブステップ（任意選択的なものとして破線の枠で示されている）を含むことができるか、又は任意のトレーニングデータなしで新規の刺激の提示に使用することができる。
【0046】
[0062] 図４に示される一例のプロセス４００は、ある時点において神経記録ヘッドセット及び眼球追跡器（及び他の周辺機器センサ及び／又はアクチュエータ）に関連する特定のユーザのデータ取得及び事前処理を開始する初期ステップ４０１を含む。例えば、この開始及び信号取得は、ハイブリッドＢＣＩシステムにおけるＢＣＩデバイス内のプロセッサの一部である構成要素によって実行することができる。
【0047】
[0063] プロセス４００は、統計モデルの生成及びトレーニングを目的としてステップのサブセット（図４における破線枠内に示される、任意選択的にトレーニングセッションに使用される）を含むことができる。トレーニングセッションのステップのサブセットは、生成されたトレーニング環境を適用して、一連の入力をユーザに提示し、ユーザの眼球運動及び神経応答を後に使用するために記録及び記憶するステップ４０３を含むことができる。トレーニング環境の提示は、ステップ４０５において提示された所定の制御された刺激の組を含むことができ、続いて、生じた眼球運動及び脳活動は、ステップ４０７において記録することができる。ステップ４０９において、取得された応答は、その応答を生じさせた既知の刺激とペアにされ、ペアリング及び関連付けを通して構築されたモデルに供給することができる。様々であるが、制御された刺激の提示並びに対応する眼球運動データ及び神経活動データの収集は、１つ又は複数の繰り返される提示における一連の刺激に対して、ステップ４１９に示されるように眼球運動－神経応答の各組で繰り返すことができる。既知の刺激と、記録された眼球運動－神経応答との関連付けから生成されたモデルは、トレーニングセット内の新しい刺激－応答ペアの各組を用いて更新することができる。
【0048】
[0064] トレーニングセッションに続き又はトレーニングセッションなしで、ステップ４０１におけるデータ取得の開始に続き、ＵＩ又はＵＸを通してユーザに刺激を提示することができる。これは、プロセス４００のステップ４１１に示される。ステップ４１１は、１つ若しくは複数の新規の刺激又はトレーニング中に提示される予めプログラムされた刺激の１つ若しくは複数に関連し得る慣れた刺激を含む新しい環境の提示を含むことができる。ハイブリッドＢＣＩシステムは、新しい統計モデルを生成することができるか、又はトレーニング中に生成された予め構築された統計モデルを使用することができる。ユーザの眼球運動及び神経活動応答の分析に統計モデルを使用することで、ハイブリッドＢＣＩシステムは、ステップ４１３において、ユーザの焦点を特定し（ポインティング制御特徴を通して）、ステップ４１７においてユーザの意図を推定することができる。それに続き、ステップ４１７において、ハイブリッドＢＣＩシステムは、ユーザによって意図される動作（神経活動データの分析によって特定される）を実行することによって動作制御特徴を実施することができる。例えば、ステップ４１７は、スペラーにおける文字の選択、又はゲームでの文字の選択、又は拡張現実システムで動作することができるＴＶシステムに関連するオン機能の選択を含むことができる。
【0049】
ハイブリットＢＣＩシステム例
[0065] 図５は、実施形態によるハイブリッドＢＣＩシステム５００を示す。幾つかの実施形態では、ＢＣＩシステム５００は、図１を参照して上述したハイブリッドＢＣＩシステム１００の対応する部分と構造及び／又は機能において同様であり得る。例えば、ＢＣＩシステム５００は、ハイブリッドＢＣＩシステム１００のビデオベースの眼球追跡器１０６、神経記録ヘッドセット１０４、任意選択的なディスプレイ１０６及び脳－コンピュータインターフェースデバイス１１０と同じ又は同様であり得るビデオベースの眼球追跡器５０６、神経記録ヘッドセット５０４、任意選択的なディスプレイ５０６及び脳－コンピュータインターフェースデバイス５１０を含む。したがって、そのような同様の部分及び／又は態様について、本明細書においてこれ以上詳述しない。
[0065] 図５は、実施形態によるハイブリッドＢＣＩシステム５００を示す。幾つかの実施形態では、ＢＣＩシステム５００は、図１を参照して上述したハイブリッドＢＣＩシステム１００の対応する部分と構造及び／又は機能において同様であり得る。例えば、ＢＣＩシステム５００は、ハイブリッドＢＣＩシステム１００のビデオベースの眼球追跡器１０６、神経記録ヘッドセット１０４、任意選択的なディスプレイ１０６及び脳－コンピュータインターフェースデバイス１１０と同じ又は同様であり得るビデオベースの眼球追跡器５０６、神経記録ヘッドセット５０４、任意選択的なディスプレイ５０６及び脳－コンピュータインターフェースデバイス５１０を含む。したがって、そのような同様の部分及び／又は態様について、本明細書においてこれ以上詳述しない。
【0050】
[0066] 幾つかの実施形態では、脳コンピュータインターフェースデバイス５１０は、プロセッサ５２０に加えて、Ｉ／Ｏユニット５４０、メモリ５６０及び通信機５８０を含むことができる。これらの構成要素は、有線又は無線接続を通して互いに接続することができる。したがって、脳－コンピュータインターフェースデバイス５１０のプロセッサ５２０は、同期事象ロガー５２２、信号分析器５２４、ＵＩ／ＵＸエンジン５２６及びアーキテクチャデベロッパ５３２を含むことができ、全てのユニットは、互いに相互接続され、互いの情報にアクセスし、互いの間で情報を転送するように構成される。
【0051】
[0067] 同期事象ロガー５２２は、Ｉ／Ｏユニット５４０を介して、取得された眼球追跡眼球運動信号、神経活動信号及び他の入力信号を種々の周辺機器デバイスから受信することができる。同期事象ロガー５２２は、互いと同期すべき信号データにタイムスタンプを付し、更なる分析に必要な任意の事前処理を実行することができる。幾つかの実施形態では、同期事象ロガー５２２は、後述するように高速眼球運動検出及び分類を実行するように構成することができる。
【0052】
[0068] 幾つかの実施形態では、脳－コンピュータインターフェースデバイス５１０は、以下の統合手法の例において説明されるように、異なる生理学的信号を使用して注目のアンサンブル推定を実施するように構成することができる信号分析器５２４を含むことができる。脳－コンピュータインターフェースデバイス５１０は、パイプラインにおいて分離可能な構成要素の並列化及び非同期処理を使用して、消費者レベルパーソナルコンピュータでの性能を保証するように構成することもできる。
【0053】
[0069] 幾つかの実施形態では、プロセッサ５２０は、トレーニング環境を生成及び提示するように構成されたＵＩ／ＵＸエンジン５２６を含むことができる（トレーニングセッションが要求される場合、ＵＩを通してレンダリングされる）。トレーニング環境は、所定の制御される刺激の組をユーザに提示し、生じた眼球運動及び／又は脳活動を記録するように構成することができる。次に、この制御される刺激の組並びに制御される各刺激に対応する誘発された目及び脳の活動は、メモリ５６０に記憶され、信号分析器５２４により、個々のユーザに合わせて作られた統計モデルを構築するためのトレーニングデータとして使用することができる。信号分析器５２４は、次元縮退法、特徴抽出法、機械学習ツールのような１つ又は複数の統計ツールを使用して、分類器等を構築することができる。信号分析器５２４は、ＢＣＩデバイス５１０の部分である通信機５８０を通して、リモートソース（例えば、リモートサーバ、データベース等）からの情報にアクセスし及びそれを使用することもできる。モデルは、提供されるトレーニングデータを使用して構築し、テストし、相互検証することができる。次に、テストされたモデルは、新しい眼球運動データ及びその特定のユーザから取得された神経活動データにわたり信号分析器５２４によって使用されて、ＵＩとの対話の高い精度及び速度を達成することができる。
【0054】
[0070] 幾つかの実施形態では、ＵＩ／ＵＸエンジン５２６と組み合わせた信号分析器５２４は、統計テストからの結果に基づいてデータを分類し、最大尤度推定、最大事後推定等のようなツールを使用してユーザ挙動の予測を生成することができる。幾つかの実施形態では、プロセッサ５２０は、眼球運動データ及び神経活動データを受信すると共に、プロセッサ５２０の他のサブ構成要素（例えば、信号分析器５２４、ＵＩ／ＵＸエンジン５２６及び通信機５８０を通して外部リモートソース）からデータを受信するアーキテクチャデベロッパ５３２を含むこともできる。アーキテクチャデベロッパ５３２は、リアルタイムでの使用に向けられるものではなく、潜在的なＢＣＩアルゴリズム検出アーキテクチャのプロトタイプに向かうロバストな統計分析オフラインに向けられることがある。
【0055】
信号分析への統合手法
[0071] 本明細書に記載されるように、ハイブリッドＢＣＩシステム１００、５００は、統合様式において、他の適切な信号に加えて眼球運動信号を神経活動信号と併せて処理して、高速及び高精度でＢＣＩシステムのポインティング制御特徴及び動作制御特徴を実施することができる。幾つかの実施形態では、ポインティング制御特徴は、幾つかの情報ソースを使用してハイブリッド様式で実施することができる。すなわち、ＢＣインターフェースデバイス１１０（又は５１０）は、統合信号をアンサンブルとして処理するように構成することができる。例えば、幾つかの実施形態では、ビデオベースの眼球追跡器１０２は、眼筋の運動を伝達する眼球運動データを通して、任意の適した形態の眼球運動情報、例えばサッケード、中心窩視及び／又は瞳孔拡張情報並びに中心窩視情報を検出するために使用することができる。サッカード眼球位置についての情報は、神経記録ヘッドセット１０４から取得される神経活動、例えば視覚応答によって誘発されるＥＲＰから間接的に取得することもできる。例えば、ハイブリッドＢＣＩシステム１００、５００は、ＥＲＰの発生を時間及び空間における特定の刺激の提示と相関付けて、因果関係を形成するように構成することができる。注視位置についての間接的情報は、刺激がＵＩ／ＵＸエンジンによって生成され、ユーザに提示された様式の知識から取得することもできる。したがって、ビデオベースの眼球追跡器１０２からの眼球運動データは、信号分析器５２４による分析前に、神経記録ヘッドセット１０４からの視覚的に誘発された神経活動からのデータ及びディスプレイ５０６を通して送達されたＵＩにおける刺激の戦略的提示と組み合わせることができる。更に、幾つかの実施形態では、信号分析器５２４は、注視運動学の理論モデル又はユーザの眼球の生物学的モデルからのデータを含むこともでき、それによりポインティング制御特徴を実施するために眼球位置の推定を通知する。モデルは、両眼視パラメータを含むことができ、それにより焦点深度を推定し、三次元空間でのポインティング制御を可能にする。
[0071] 本明細書に記載されるように、ハイブリッドＢＣＩシステム１００、５００は、統合様式において、他の適切な信号に加えて眼球運動信号を神経活動信号と併せて処理して、高速及び高精度でＢＣＩシステムのポインティング制御特徴及び動作制御特徴を実施することができる。幾つかの実施形態では、ポインティング制御特徴は、幾つかの情報ソースを使用してハイブリッド様式で実施することができる。すなわち、ＢＣインターフェースデバイス１１０（又は５１０）は、統合信号をアンサンブルとして処理するように構成することができる。例えば、幾つかの実施形態では、ビデオベースの眼球追跡器１０２は、眼筋の運動を伝達する眼球運動データを通して、任意の適した形態の眼球運動情報、例えばサッケード、中心窩視及び／又は瞳孔拡張情報並びに中心窩視情報を検出するために使用することができる。サッカード眼球位置についての情報は、神経記録ヘッドセット１０４から取得される神経活動、例えば視覚応答によって誘発されるＥＲＰから間接的に取得することもできる。例えば、ハイブリッドＢＣＩシステム１００、５００は、ＥＲＰの発生を時間及び空間における特定の刺激の提示と相関付けて、因果関係を形成するように構成することができる。注視位置についての間接的情報は、刺激がＵＩ／ＵＸエンジンによって生成され、ユーザに提示された様式の知識から取得することもできる。したがって、ビデオベースの眼球追跡器１０２からの眼球運動データは、信号分析器５２４による分析前に、神経記録ヘッドセット１０４からの視覚的に誘発された神経活動からのデータ及びディスプレイ５０６を通して送達されたＵＩにおける刺激の戦略的提示と組み合わせることができる。更に、幾つかの実施形態では、信号分析器５２４は、注視運動学の理論モデル又はユーザの眼球の生物学的モデルからのデータを含むこともでき、それによりポインティング制御特徴を実施するために眼球位置の推定を通知する。モデルは、両眼視パラメータを含むことができ、それにより焦点深度を推定し、三次元空間でのポインティング制御を可能にする。
【0056】
[0072] ポインティング制御を追跡する統合ハイブリッド手法では、ユーザは、注視を位置特定するために提供される情報において互いを補うビデオベースの眼球追跡器１０２からの種々の信号、神経記録ヘッドセット１０４からの視覚誘発神経活動、提示された刺激の属性についての情報及び理論モデルからのデータを用いて、眼球注視の自発的な運動によってターゲットを迅速に選択することができる。ユーザは、ターゲットに注目を視覚的に固定し、ＢＣインターフェースデバイス１１０は、注視についての情報を提供する複数の信号の結合パッケージの特徴分析を通してターゲットを識別することができる。特に、ハイブリッドＢＣＩシステム１００では、結合パッケージ内の信号は、ＢＣインターフェースデバイス１１０により、各信号ソースに適切な重み付けがなされてアンサンブルとして分析される。
【0057】
[0073] 統合手法を使用してポインティング制御特徴を実施することの利点の１つは、眼球位置をリアルタイムで非常に迅速に推定できることである。統合手法では、ビデオベースの眼球追跡器１０２は、神経記録ヘッドセット１０４を通して記録された神経活動と同じノイズ源の影響を受けにくく、またこの逆も同じであるため、最もロバストな推定も可能である。したがって、１つのチャネルは、他方のチャネルの弱点を補償することができる。更に、両方のデータセットをアンサンブルとして処理する手法では、ユーザ履歴及びナビゲートされるインターフェースの具体的な詳細等のような他のパラメータに従って個々の信号を適宜重み付けすることができる。加えて、信号分析器２５４は、（１）１つ又は複数のフィルタシステム（例えば、デュアルカルマンフィルタ又は任意の他のラグなしフィルタ）を通した信号の適した処理、（２）ベイズ線形判別システム、（３）加重信号パッケージへの空間フィルタリング、（４）バギングアンサンブル分類器アルゴリズム、及び（５）実験タスク中にプログラムルーチンを用いて分類アルゴリズムからの情報を組み込み、選択精度を改善する高次オラクルアルゴリズムを使用する適した分析パイプラインを実施するように構成することができる。
【0058】
[0074] ハイブリッドＢＣＩシステム１００、５００は、統合手法を使用して動作制御特徴を実施することもできる。幾つかの実施形態では、例えば、信号分析器５２４は、神経記録ヘッドセット５０４からの神経活動データを、トレーニングデータから構築された統計モデル又は人間認知の理論モデル、ビデオベースの眼球追跡器５０２からの眼球運動データ（瞳孔拡散等のようなパラメータから注目のような脳状態を伝達する）及び種々の周辺機器センサからのマルチモーダル感覚データと組み合わせることができる。信号分析器５２４は、適した機械学習ツール一式及び統計分類器を使用してアンサンブル距離推定及び分類を実行し、推定を単純な値又は閾値交差信号に還元することができる。この還元された信号は、次に、所望の記号又は刺激への動作制御特徴の実施に使用することができる。ユーザ経験を改善するために、ハイブリッドＢＣＩシステム１００、５００は、動作制御の実施が５秒以内、又は４秒以内、又は３秒以内、又は２秒以内、又は１秒以内、又は０．９秒以内、又は０．８秒以内、又は０．７秒以内、又は０．６秒以内、又は０．５秒以内で行われるように、速度について最適化するように調整することができる。ユーザ経験を改善するために、ハイブリッドＢＣＩシステム１００、５００は、動作制御速度の実施（秒単位）にシステムの平均精度（％単位）を掛けたものが５（例えば、１０秒＊５０％精度）未満、又は４未満、又は３未満、２未満、又は１．１２５（例えば、１．５秒＊７５％精度）未満、又は１未満、又は０．９（例えば、１秒＊９０％精度）未満、又は０．８未満、又は０．７未満、又は０．６未満、又は０．５（例えば、０．６秒＊８３．３３％精度）未満であるように、速度＊精度％の値を低減又は最小に抑えるように調整することができる。
【0059】
ＵＩ／ＵＸにおける適合
[0075] 本明細書に記載されるように、ハイブリッドＢＣＩシステム１００、５００の動作は、ハイブリッドＢＣＩシステムの機能にとって中核的なＵＩ又はＵＸを含む。ＵＩ又はＵＸは、ユーザ（例えば、ユーザの脳、目等）とＢＣインターフェースデバイス１１０との間の通信リンクとして機能し、ユーザがポインティング制御特徴を通して特定の刺激に焦点を合わせてポインティングし、動作制御特徴を使用して特定の刺激を選択又は選択解除できるようにする。単純な例では、ＵＩは、ディスプレイを介して提示される一連の視覚的に刺激する二次元画像であり得る。ディスプレイ（ディスプレイ１０６のような）に表示される視覚刺激を提示するＵＩの例は、図２（ＵＩ２７１）及び図３（ＵＩ３７１）に示されている。
[0075] 本明細書に記載されるように、ハイブリッドＢＣＩシステム１００、５００の動作は、ハイブリッドＢＣＩシステムの機能にとって中核的なＵＩ又はＵＸを含む。ＵＩ又はＵＸは、ユーザ（例えば、ユーザの脳、目等）とＢＣインターフェースデバイス１１０との間の通信リンクとして機能し、ユーザがポインティング制御特徴を通して特定の刺激に焦点を合わせてポインティングし、動作制御特徴を使用して特定の刺激を選択又は選択解除できるようにする。単純な例では、ＵＩは、ディスプレイを介して提示される一連の視覚的に刺激する二次元画像であり得る。ディスプレイ（ディスプレイ１０６のような）に表示される視覚刺激を提示するＵＩの例は、図２（ＵＩ２７１）及び図３（ＵＩ３７１）に示されている。
【0060】
[0076] ＵＩは、一緒になって、これもインターフェースとして機能するＵＸと呼ぶことができるものを形成する、幾つかのモダリティでの刺激の豊富な混合でもあり得る。戦略的に設計されたＵＸは、任意のモダリティを通してユーザに刺激を提示するプロセスを含み、幾つかの例には、視覚刺激、聴覚刺激、触覚刺激又は前庭刺激がある。ＵＩ又はＵＸは、システムハイブリッドＢＣＩシステム５００のＵＩ／ＵＸエンジン５２６によって設計及び生成することができる。ＵＩ／ＵＸエンジン５２６は、信号分析器５２４と併せて動作して、信号分析器５２４から出力されたデータで、提示されたＵＸを更新することができる。例えば、ＵＸは、推定されたユーザ意図に従って更新することができ、それにより動作制御特徴を実施する。
【0061】
[0077] ＵＩ／ＵＸエンジン５２６は、アーキテクチャデベロッパ５３２と併せて動作して、ユーザの要件及びハイブリッドＢＣＩシステムの使用状況に従って適切なＵＩ又は経験も生成及び維持することができる。ＵＩ／ＵＸエンジン５２６は、ビデオベースの眼球追跡器１０２から記録された眼球運動信号、神経記録ヘッドセット１０４又は周囲環境を捕捉し得る現場カメラを含むセンサ及びアクチュエータであり得る１つ又は複数の他の周辺機器デバイスを通したユーザからのフィードバック又はユーザの環境に基づいて、ＵＩをリアルタイムで更新するように構成することができる。ＵＩ／ＵＸエンジン５２４は、ＢＣＩデバイス５１０がＵＩを維持し、入力信号を分析するために必要なバックグラウンド処理をサポートすることができるように、ユーザフィードバック及び更新されたＵＩに従ってＢＣＩデバイス５１０においてプロセッサ５２０を更新するように構成することもできる。例えば、ＵＩ／ＵＸエンジン５２４は、アンサンブル推定並びにポインティング制御特徴及び動作制御特徴の実施のために刺激属性を信号分析器５２４に供給することができる。幾つかの実施形態では、ＵＩ／ＵＸエンジン５２６は、例えば、ＵＩが視覚モダリティの対話から視聴覚モダリティの対話に切り替えた場合、信号分析器５２４における処理モードを切り替えることもできる。ＵＩの幾つかの実装形態例について以下に開示される。
【0062】
動的刺激
[0078] 幾つかの実施形態では、ＵＩは、静的視覚画像のみならず、ビデオを形成する動いている一連の視覚画像からなるように構成することができる。ビデオは、ＵＩ／ＵＸエンジン５２６によってＢＣＩデバイス５１０内にプログラムされる合成生成された一連の画像であり得るか、又は通信機５８０を通してリモートソースから取得され、所望のＵＩに合うように更新することができる。合成生成されるか又は取得されたビデオは、ディスプレイ（１０６、５０６）を通してユーザに中継することができる。ビデオは、ユーザの現実世界環境において発生しており、ユーザの視野を捕捉する視野カメラを含む任意の適した１つの眼鏡を通してユーザに中継され、ＢＣＩデバイス５１０にコピーされる一連のリアルタイム事象を含むこともできる。幾つかの実施形態では、眼鏡及び視野カメラは、ビデオベースの眼球追跡器１０２に組み込むことができる。
[0078] 幾つかの実施形態では、ＵＩは、静的視覚画像のみならず、ビデオを形成する動いている一連の視覚画像からなるように構成することができる。ビデオは、ＵＩ／ＵＸエンジン５２６によってＢＣＩデバイス５１０内にプログラムされる合成生成された一連の画像であり得るか、又は通信機５８０を通してリモートソースから取得され、所望のＵＩに合うように更新することができる。合成生成されるか又は取得されたビデオは、ディスプレイ（１０６、５０６）を通してユーザに中継することができる。ビデオは、ユーザの現実世界環境において発生しており、ユーザの視野を捕捉する視野カメラを含む任意の適した１つの眼鏡を通してユーザに中継され、ＢＣＩデバイス５１０にコピーされる一連のリアルタイム事象を含むこともできる。幾つかの実施形態では、眼鏡及び視野カメラは、ビデオベースの眼球追跡器１０２に組み込むことができる。
【0063】
[0079] 幾つかの実施形態では、ビデオの形態の視覚刺激は、動くターゲットを有する動的刺激として扱うことができる。図６は、空間を通して移動している動的物体例の図を示す。ＢＣＩデバイス５１０は、適した画像処理ルーチンを実行して、ビデオ（生成されるか、取得されるか、又は視野カメラを通して捕捉される）を分析することにより、移動しているターゲットを識別し、時間及び空間を通してターゲットの動的運動を追跡するように構成することができる。画像処理中、ＢＣＩデバイス５１０は、サーチを実行し、通信機５８０を通して通信チャネルを確立することにより、リモートサーバに保持される画像データ又はビデオデータのデータベース又はリポジトリからの情報にアクセスするように構成することもできる。信号分析器５２４及びＵＩ／ＵＸエンジン５２６は、併せて画像セグメント化、輪郭検出、運動検出等のような分析ルーチンを実行するように動作することができる。ＢＣＩデバイス５１０は、任意の適した統計方法一式を使用して、移動している動的刺激を識別及び追跡することができる。ＢＣＩデバイス５１０は、メモリ５６０に記憶されたユーザの挙動の事前知識又はＵＩ若しくはＵＸの状況を組み込み、動的刺激の識別及び追跡を促進することもできる。
【0064】
[0080] 識別されると、図６のＵＩ６７１の図例に示されるように、動的刺激にタグを割り当てることができる。タグＴ０、Ｔ１．．．Ｔ５は、それぞれが動的刺激に関連する特定の事象を示す時点であり得る。例えば、Ｔ０は、動的刺激が出現し、最初に検出された時点を示すことができる。Ｔ５は、刺激が消失する前の刺激の追跡の終わりを示すことができる。各タグ及び関連する情報は、刺激情報（例えば、刺激情報６７７）の一部として記憶することができ、これは、ポインティング制御特徴を実施するための眼球位置のアンサンブル推定又は動作制御特徴を実施するためのユーザ意図のアンサンブル推定を含む幾つかの他の分析で使用することができる。例えば、物体は、ユーザの注視点が、空間及び時間において追跡されている物体を見逃したことが検出された場合、追跡されている動的物体を閃光させることができる（図６の例においてタグＴ４で示されるように）ように識別及びタグ付けすることができる。ユーザは、次に、考えを使用して物体を操作することができる。すなわち、アンサンブル処理を受けた同時に記録された神経活動データを使用して、動的物体に関するユーザの意図を特定することができる。シグネチャ神経活動（例えば、ＥＲＰ又は運動イメージ信号）が検出される場合、これは、その動的物体に関連する動作をトリガーするユーザの望みを示し得る。動作は、動的刺激の属性及び記録及び分析されている神経活動に基づくことができる。例えば、動作は、物体に関連するメニューを見るという単純な選択であり得るか、又は動作は、以下の例に開示されるように運動イメージ信号を使用することによる物体の複雑な操作であり得る。任意のそのような選択又は任意のインスタンスにおける動的物体の選択から生じたトリガーされた動作は、将来使用するために刺激情報６７７の一部として記憶することもできる。
【0065】
三次元ＵＸ
[0081] ハイブリッドＢＣＩシステム１００、５００及び本明細書に記載される他の実施形態は、空間次元において二次元又は三次元ＵＩ又はＵＸをサポートするように構成することができる。本明細書に記載されるように、ＵＩ又はＵＸは、ＵＩ／ＵＸエンジン５２６によって生成される完全な仮想環境であり得る。又は、ＵＩ／ＵＸは、眼鏡を通して中継され、ユーザの拡張現実経験を作るＵＩが重ねられたユーザの現実世界環境であり得る。
[0081] ハイブリッドＢＣＩシステム１００、５００及び本明細書に記載される他の実施形態は、空間次元において二次元又は三次元ＵＩ又はＵＸをサポートするように構成することができる。本明細書に記載されるように、ＵＩ又はＵＸは、ＵＩ／ＵＸエンジン５２６によって生成される完全な仮想環境であり得る。又は、ＵＩ／ＵＸは、眼鏡を通して中継され、ユーザの拡張現実経験を作るＵＩが重ねられたユーザの現実世界環境であり得る。
【0066】
[0082] 幾つかの実装形態例では、ＵＩは、メニュー及びアイコンの形態で制御ツールの組を提供し、ポインティング制御特徴及び動作制御特徴を二次元空間又は三次元空間（すなわち視覚の奥行きを利用する）で実施する単純なシステムであり得る。幾つかの実装形態では、ＵＩは、ユーザによってナビゲートすることができ、現実世界ナビゲーションと同様の経験を提供する仮想（又は拡張）空間のマルチモーダル提示を用いるリッチな三次元経験でもあり得る。ＵＩは、ユーザの状況要件に合うように適宜配置された、これらと種々の他のタイプの刺激提示との組合せを含むこともできる。
【0067】
[0083] ハイブリッドＢＣＩシステム１００、５００は、人間の視覚系が三次元において奥行きをどのように処理するかの属性を使用して、ＵＸを生成すると共に、アンサンブル処理中に眼球運動及び神経信号を分析することができる。例えば、人間の視覚系は、幾つかの手掛かりを使用して、視野内の物体が視覚の異なる奥行きからのものであるか否かを特定する。属性の一例は、部分遮蔽である。１つの物体が別の物体によって遮蔽される場合、遮蔽された物体が遮蔽する物体の背後に位置するという妥当な予想がある。これは、仮想環境において三次元空間を生成するために使用することができる。この属性は、ポインティング制御特徴を実施して、ユーザの焦点が、視覚から遮蔽されている物体ではなく、全体が見えている物体にあると正確に特定する場合に使用することもできる。
【0068】
[0084] 属性の別の例は、物体が視覚の奥行きと共に変化する際の既知の物体の相対的なサイズ及び形状である。例えば、２つの物体が既知のサイズ及び形状を有し、一方が他方よりも小さく見える場合、小さい物体が大きい物体よりも観察者から空間距離において離れていると妥当に推定することができる。この属性は、現実的な三次元仮想空間を生成するために、ＵＩ／ＵＸエンジン５２６により、様々なサイズ及び様々な視点で物体をレンダリングするために使用することもできる。この属性は、ユーザの焦点を正確に特定するために使用することもできる。
【0069】
[0085] 更に、人間の視覚系は、片目に対するもう一方の目の相対運動を中継する両眼視からの情報及び各目の焦点深度を使用して、別名立体眼球追跡と呼ばれる、現実世界における物体の位置も特定する。ハイブリッドＢＣＩシステム１００、５００は、立体眼球追跡を実行し、ビデオベースの眼球追跡器１０２、５０２によって収集された両目からの眼球運動信号を使用することができ、信号を使用して、焦点深度の両眼推定を生成することができる。この両眼推定は、他の奥行き情報ソースと組み合わせられて、現実、仮想又は拡張空間におけるユーザのビューにおける物体の奥行きを正確に推定することができる。
【0070】
ナビゲーション制御
[0086] 幾つかの実施形態では、ハイブリッドＢＣＩシステム１００、５００は、ナビゲーションが関わる二次元又は三次元空間におけるＵＸの提示を含むことができる。例えば、ＵＩは、Pacman又はQuakeのようなナビゲーションゲームをプレイするように構成することができる。他の場合、ＵＩは、現実世界でユーザの車椅子をナビゲートするように構成することができる。ＵＩ／ＵＸエンジン５２６は、ユーザ、ＢＣＩデバイス１１０（５１０）により、又はユーザの環境（視野カメラによって中継される）から提供される状況ベースの情報を使用し、ナビゲーションを仲介する適切な制御と共に提示されるＵＩ又はＵＸを生成／更新することができる。一実施形態によるナビゲーション制御インターフェースの図例を図７に示す。
[0086] 幾つかの実施形態では、ハイブリッドＢＣＩシステム１００、５００は、ナビゲーションが関わる二次元又は三次元空間におけるＵＸの提示を含むことができる。例えば、ＵＩは、Pacman又はQuakeのようなナビゲーションゲームをプレイするように構成することができる。他の場合、ＵＩは、現実世界でユーザの車椅子をナビゲートするように構成することができる。ＵＩ／ＵＸエンジン５２６は、ユーザ、ＢＣＩデバイス１１０（５１０）により、又はユーザの環境（視野カメラによって中継される）から提供される状況ベースの情報を使用し、ナビゲーションを仲介する適切な制御と共に提示されるＵＩ又はＵＸを生成／更新することができる。一実施形態によるナビゲーション制御インターフェースの図例を図７に示す。
【0071】
[0087] 幾つかの実施形態では、ハイブリッドＢＣＩシステム１００、５００は、ユーザの環境の状況又はユーザからの明示的な指示に基づいて、図７に示されるようなナビゲーション制御インターフェースをユーザに提示することができる。ナビゲーション制御インターフェースは、運動速度及び運動方向への制御を提供することができる。例えば、ナビゲーション制御インターフェースは、各リングが速度ゾーンを表す複数の同心円の透明アウトレイを含むことができる。各リングは、アクティブ化又は非アクティブ化することができる記号、例えば矢印の対称オーバーレイを含むこともできる。記号又は矢印は、関連する速度帯の選択を開始及び停止することによって運動を制御するように構成することができる。各矢印の角度及び位置は、運動の方向を示すことができる。
【0072】
[0088] 幾つかの実施形態では、先に開示され、図７に示されるものと同様のナビゲーションインターフェースは、ポインティング制御特徴及び動作制御特徴を組み合わせて実施することによって操作することができる。例えば、ポインティング制御特徴は、運動の方向を示す、ユーザが望んだ矢印を特定するために使用することができる。動作制御特徴は、その特定の速度帯のその特定の矢印を選択するために実施することができる。このナビゲーションインターフェースを組み込んだハイブリッドＢＣＩシステム１００、５００は、電子操作される車椅子のような外部ナビゲーションシステムに接続することができる。この場合、特定の速度帯に関連する特定の矢印をアクティブ化すると、所望の方向にターン又は移動する車椅子の車輪の運動をアクティブ化することができる。代替的に、ハイブリッドＢＣＩシステム１００、５００は、ナビゲーション可能な仮想環境をユーザに提示することができる。この場合、ナビゲーションインターフェースにおける特定の速度帯にある特定の矢印をアクティブ化することにより、ユーザは、アクティブ化によって示された速度及び方向に従い、提示された仮想空間において移動することができる。換言すれば、ＵＩ／ＵＸエンジン５２６は、ユーザが望んだ運動の知覚を生成するように、提示される仮想環境を変更し得る。ナビゲーションインターフェースは、ユーザがフィードバックをナビゲーション制御システムに提供するためのチャネルを含むこともできる。運動及びユーザのフィードバックを生じさせる記号のユーザ選択の持続時間のようなナビゲーションインターフェースの使用属性は、将来使用するために、例えばユーザ固有の較正及び設定のために刺激として記憶することができる。
【0073】
状況ベースの現実世界対話
[0089] 幾つかの実施形態では、ハイブリッドＢＣＩシステム１００、５００は、ユーザが拡張又は混合現実空間において対話できるようにするために使用することができる。すなわち、ハイブリッドＢＣＩシステム１００、５００を使用して、ユーザが見ることができるあらゆるものを捕捉するように構成された周辺機器センサ１０８、５０８の１つとして視野カメラを含む１つの眼鏡を通して現実世界をユーザに中継し得る。例えば、眼鏡及び視野カメラは、ビデオベースの眼球追跡器１０２の一体部分として組み込むことができる。眼鏡は、視覚刺激を提示することが可能な統合ディスプレイ（例えば、液晶ディスプレイ）であるように構成することができる。視覚画像又は視覚ビデオは、必要に応じて、三次元空間をシミュレートするように各目に適宜合わせられて統合ディスプレイにおいて投影することができ、それによりユーザが拡張又は混合現実を経験できるようにする。例えば、投影される画像は、ポインティング制御特徴及び動作制御特徴を実施することによってアクティブ化又は選択することができるメニュー及びボタンのような制御インターフェースであり得る。投影される画像又はビデオは、ユーザが見る現実世界イメージを補うように生成されたリッチな三次元環境でもあり得る。
[0089] 幾つかの実施形態では、ハイブリッドＢＣＩシステム１００、５００は、ユーザが拡張又は混合現実空間において対話できるようにするために使用することができる。すなわち、ハイブリッドＢＣＩシステム１００、５００を使用して、ユーザが見ることができるあらゆるものを捕捉するように構成された周辺機器センサ１０８、５０８の１つとして視野カメラを含む１つの眼鏡を通して現実世界をユーザに中継し得る。例えば、眼鏡及び視野カメラは、ビデオベースの眼球追跡器１０２の一体部分として組み込むことができる。眼鏡は、視覚刺激を提示することが可能な統合ディスプレイ（例えば、液晶ディスプレイ）であるように構成することができる。視覚画像又は視覚ビデオは、必要に応じて、三次元空間をシミュレートするように各目に適宜合わせられて統合ディスプレイにおいて投影することができ、それによりユーザが拡張又は混合現実を経験できるようにする。例えば、投影される画像は、ポインティング制御特徴及び動作制御特徴を実施することによってアクティブ化又は選択することができるメニュー及びボタンのような制御インターフェースであり得る。投影される画像又はビデオは、ユーザが見る現実世界イメージを補うように生成されたリッチな三次元環境でもあり得る。
【0074】
[0090] 幾つかの実施形態では、ハイブリッドＢＣＩシステム１００、５００は、視野カメラを通して捕捉されたユーザが見る現実世界環境のビデオを処理するように構成することができる。例えば、視野カメラ（周辺機器デバイス５０８）は、捕捉された現実世界イメージを記録し、ＢＣＩデバイス５１０のＩ／Ｏユニット５４０に送信することができる。次に、ＢＣＩデバイス５１０内のプロセッサ５２０は、同期事象ロガー５２２を介して捕捉されたビデオにタイムスタンプを付してログし、捕捉されたビデオを信号分析器５２４において分析することができる。信号分析器５２４は、画像セグメント化、輪郭検出、運動検出、画像識別等を含め、ビデオに対して種々の画像処理ルーチンを実行することができる。信号分析器５２４は、メモリ５６０に記憶された予め取得された情報を使用することができるか、又は通信機５８０を介して確立された通信チャネルを介してリモートソースから追加の情報を取得することもでき、それにより画像処理ルーチンを促進する。
【0075】
[0091] 図８Ａは、ハイブリッドＢＣＩシステムの一実施形態を使用して視野カメラによって捕捉された現実世界画像の例事例を示す。図８Ａにおける画像例は、ユーザのリビングルームのインスタンスを示す。例えば、信号分析器５２４は、この画像をビデオで受信し、図８Ａの例において強調表示されるように、この画像を識別可能な部分にセグメント化することができる。すなわち、信号分析器５２４は、輪郭を検出し、テレビ、書棚及び２匹の飼い猫のような個々のアイテムを識別することができる。更に、信号分析器５２４は、ユーザについて記憶されている情報又はリモートソース（例えば、ウェブサイト、データベース、ベンダーカタログ等）からの追加の情報にアクセスして、捕捉されたビデオにおいてテレビの製造元及び型番を識別することができる。識別すると、信号分析器５２４は、識別された特定のデバイス（例えば、特定の製造元及び型番のテレビ）との適した通信モードを特定することができる。選択された適した通信チャネル（例えば、ベンダーによって予め決定され得るBluetooth、ＮＦＣ等）を使用して、ＢＣＩデバイス５１０は、通信機５８０を通して、識別されたデバイス（例えば、テレビ）と接続することができる。
【0076】
[0092] 幾つかの実施形態では、テレビのような特定の制御可能な電子構成要素の識別及び接続の成功は、識別された制御可能な電子デバイスに適した状況ベースのＵＩの提示をトリガーすることができる。例えば、特定の製造元及び型番のテレビを識別し、接続すると、ハイブリッドＢＣＩシステム１００、５００は、そのテレビの制御可能な特徴のリストを取得することができる。次に、ＢＣＩデバイス５１０内のＵＩ／ＵＸエンジンは、デバイス及びユーザについての情報を使用して、音量制御機構、チャンネル制御機構、ホームシアター制御機構等のアイテムを含め、そのテレビで利用可能な制御機構のリストを組み込んだ状況ベースの直観的なＵＩを生成することができる。テレビの例のそのような制御機構のＵＩの例を図８Ｂに示す。
【0077】
[0093] 状況ベースのＵＩは、二次元空間又は三次元空間に提示され得、任意の適したモダリティを通してアクティブ化又は非アクティブ化することができる記号又はアイコンを含み得る。次に、ハイブリッドＢＣＩシステム５００は、ポインティング制御特徴を実施して、特定の制御可能な記号、例えば「音量増大」アイコンへのユーザの焦点合わせを検出することができる。それに続き、ハイブリッドＢＣＩシステム５００は、神経記録ヘッドセットを介して記録された神経活動を使用して、動作制御特徴（例えば、音量増大アイコンのアクティブ化）をＵＩで実施することができる。状況ベースのＵＩにおけるこの動作は、テレビに通信されて、現実世界でのテレビ提示（例えば、音量）のユーザ経験の変更を行うことができる。
【0078】
対話を容易にするためのＵＩ／ＵＸへの可視適合及び不可視適合
[0094] 幾つかの実施形態では、ハイブリッドＢＣＩシステム１００、５００は、ＵＩ又はＵＸの生成において適合を組み込んで、高速及び高精度での動作のし易さを可能にすることができる。これらの適合は、ユーザに提示されるＵＩの可視属性を含み得る。適合は、明らかに可視ではないが、ＵＩ又はＵＸの生成及び保守並びにポインティング制御特徴及び／又は動作制御特徴がどのように実施されるかに組み込まれるＵＩの属性を含むこともできる。適合の幾つかについて以下に開示される。
[0094] 幾つかの実施形態では、ハイブリッドＢＣＩシステム１００、５００は、ＵＩ又はＵＸの生成において適合を組み込んで、高速及び高精度での動作のし易さを可能にすることができる。これらの適合は、ユーザに提示されるＵＩの可視属性を含み得る。適合は、明らかに可視ではないが、ＵＩ又はＵＸの生成及び保守並びにポインティング制御特徴及び／又は動作制御特徴がどのように実施されるかに組み込まれるＵＩの属性を含むこともできる。適合の幾つかについて以下に開示される。
【0079】
フォーカスクリックスルー
[0095] 幾つかの実施形態では、ハイブリッドＢＣＩシステム１００、５００は、三次元態様を組み込んで、動作可能なメニュー項目をユーザに提示することができる。乱雑さを見せずに良いサイズのメニュー項目を提示する選択肢を含め、三次元において動作可能なメニューの提示には、幾つかの利点があり得る。メニュー項目の三次元提示は、拡張又は混合現実を提示する場合と同様に、視覚ＵＩ又はＵＸの表示又は提示に利用可能な空間が限られている状況下でも有用であり得る。
[0095] 幾つかの実施形態では、ハイブリッドＢＣＩシステム１００、５００は、三次元態様を組み込んで、動作可能なメニュー項目をユーザに提示することができる。乱雑さを見せずに良いサイズのメニュー項目を提示する選択肢を含め、三次元において動作可能なメニューの提示には、幾つかの利点があり得る。メニュー項目の三次元提示は、拡張又は混合現実を提示する場合と同様に、視覚ＵＩ又はＵＸの表示又は提示に利用可能な空間が限られている状況下でも有用であり得る。
【0080】
[0096] ＵＩ例における三次元提示の一例を図９に示す。ＵＩは、選択されて動作制御特徴をハイブリッドＢＣＩシステム５００によって実施することができる幾つかの選択肢を含むことができる。図９に示される例は、選択肢１及び２を含むパネルを含む。先に開示したように、ＵＩは、人間の視覚系によって被写界深度を検出するために使用される幾つかの属性を利用することにより、三次元空間に提示することができる。図９に提示される例と同様に、ＵＩは、輝度及びコントラストの属性を変調して、特定の項目にピントを合わせるか又はピントを外すことができる。更に、ＵＩは、三次元における奥行きの効果をもたらすために、ある物体による別の物体の遮蔽又はある物体からの別の物体の斜視図のような属性を使用することもできる。
【0081】
[0097] ポインティング制御特徴の実施中、ハイブリッドＢＣＩシステム１００、５００は、各選択肢にピントを合わせることによって選択肢１及び２を順次提示することができる。所望の選択肢は、ビデオベースの眼球追跡器１０２によって収集される眼球運動応答を監視して、立体眼球追跡を実施すること、神経記録ヘッドセット１０４によって収集された神経活動にＵＩにおける選択肢１及び２の焦点深度の変更を相関付けること又はこれら２つの組合せを含む１つ又は複数の方法によって決定することができる。両方の方法の組合せを使用する統合手法は、より高速の検出を可能にすることができ、高精度の動作選択を維持しながら高速のユーザ対話に繋がる。
【0082】
選択肢プール事前選択
[0098] 幾つかの実施形態では、ハイブリッドＢＣＩシステム１００、５００は、幾つかの動作可能な項目を有する状況下で動作するために使用することができる。６つの動作可能な項目を含むＵＩ１０７１の例示のための一例を図１０Ａに示す。特定の状況下では、ＵＩに一度に提示される動作可能な項目の数を少なくすることが適し得る。これは、ポインティング制御特徴の実施中、ユーザの焦点の特定における不確実性を下げるためでもあり得る。動作制御特徴の実施中、選択される動作可能な項目の不確実性を下げるためでもあり得る。更に、ハイブリッドＢＣＩシステム１００、５００の幾つかの実施形態では、ＵＩは、刺激を閃光させ、神経記憶ヘッドセット５０４を通して同時に収集された神経活動を相関させ、この相関データを更に使用して、動作可能な項目の選択を実施するように構成され得る。これらの状況下では、刺激の繰り返しの閃光を最小に抑えて、ＵＸを強化することが望ましいことがある。これらの要件下でＵＩ／ＵＸエンジン５２４によって採用される一戦略は、選択肢項目を戦略的にプールすることであり得る。したがって、図１０Ａ及び図１０Ｂに示される例では、１ステップで６つの潜在的な選択肢における１つの選択（図１０Ａに示される）の代わりに、ＵＩは、２ステップ選択プロセスで動作するように変更することができる。例えば、第１のステップにおいて、ＵＩは、選択肢１、２及び３を一緒にプールして、プールされた事前選択選択肢１を形成し、選択肢４、５及び６を一緒にプールして、プールされた事前選択選択肢２を形成するように変更され得る。したがって、ユーザは、第１のステップにおいて、２つの可能な事前選択選択肢の一方をポイントして選択し得る。第１のステップにおいて、ポインティング制御特徴及び選択制御特徴を事前選択選択肢に対して実施すると、ＵＩは、次に、図１０Ｂに示されるように、第１のステップにおいて選択したものに応じて、事前選択選択肢１又は事前選択選択肢２に含まれる実際の個々の選択肢を提示するように変更することができる。この手順は、選択に関わるステップ数を増やし得るが、選択肢を事前選択プールにプールするプロセスは、個々の選択肢の閃光数を下げ得る。更に、正確な選択肢を選択する精度は、第１のステップ及び第２のステップの両方における不確実性の低下に起因して増大し得る。
[0098] 幾つかの実施形態では、ハイブリッドＢＣＩシステム１００、５００は、幾つかの動作可能な項目を有する状況下で動作するために使用することができる。６つの動作可能な項目を含むＵＩ１０７１の例示のための一例を図１０Ａに示す。特定の状況下では、ＵＩに一度に提示される動作可能な項目の数を少なくすることが適し得る。これは、ポインティング制御特徴の実施中、ユーザの焦点の特定における不確実性を下げるためでもあり得る。動作制御特徴の実施中、選択される動作可能な項目の不確実性を下げるためでもあり得る。更に、ハイブリッドＢＣＩシステム１００、５００の幾つかの実施形態では、ＵＩは、刺激を閃光させ、神経記憶ヘッドセット５０４を通して同時に収集された神経活動を相関させ、この相関データを更に使用して、動作可能な項目の選択を実施するように構成され得る。これらの状況下では、刺激の繰り返しの閃光を最小に抑えて、ＵＸを強化することが望ましいことがある。これらの要件下でＵＩ／ＵＸエンジン５２４によって採用される一戦略は、選択肢項目を戦略的にプールすることであり得る。したがって、図１０Ａ及び図１０Ｂに示される例では、１ステップで６つの潜在的な選択肢における１つの選択（図１０Ａに示される）の代わりに、ＵＩは、２ステップ選択プロセスで動作するように変更することができる。例えば、第１のステップにおいて、ＵＩは、選択肢１、２及び３を一緒にプールして、プールされた事前選択選択肢１を形成し、選択肢４、５及び６を一緒にプールして、プールされた事前選択選択肢２を形成するように変更され得る。したがって、ユーザは、第１のステップにおいて、２つの可能な事前選択選択肢の一方をポイントして選択し得る。第１のステップにおいて、ポインティング制御特徴及び選択制御特徴を事前選択選択肢に対して実施すると、ＵＩは、次に、図１０Ｂに示されるように、第１のステップにおいて選択したものに応じて、事前選択選択肢１又は事前選択選択肢２に含まれる実際の個々の選択肢を提示するように変更することができる。この手順は、選択に関わるステップ数を増やし得るが、選択肢を事前選択プールにプールするプロセスは、個々の選択肢の閃光数を下げ得る。更に、正確な選択肢を選択する精度は、第１のステップ及び第２のステップの両方における不確実性の低下に起因して増大し得る。
【0083】
ドラッグ可能マーカ
[0099] ハイブリッドＢＣＩシステム１００又は５００は、視覚補助（例えば、カーソル）を使用して、ポインティング制御特徴の現在ステータスを示すことによって動作することができる。カーソルは、ポインティング制御特徴及び動作制御特徴を実施しながら、属性（例えば、色、形状、輝度等）を使用してシステムの現在ステータスを示すことができる記号又はマーカであり得る。例えば、マーカは、ポインティングしている間、ソリッドカラーであるが、異なる色に変わってポインティング制御（すなわちＵＩに提示された選択肢の選択）の実施完了を表すことができる。マーカは、更に別の形状又は色に更に変えて、動作制御特徴（すなわち選択肢のアクティブ化）の実施完了を表すことができる。
[0099] ハイブリッドＢＣＩシステム１００又は５００は、視覚補助（例えば、カーソル）を使用して、ポインティング制御特徴の現在ステータスを示すことによって動作することができる。カーソルは、ポインティング制御特徴及び動作制御特徴を実施しながら、属性（例えば、色、形状、輝度等）を使用してシステムの現在ステータスを示すことができる記号又はマーカであり得る。例えば、マーカは、ポインティングしている間、ソリッドカラーであるが、異なる色に変わってポインティング制御（すなわちＵＩに提示された選択肢の選択）の実施完了を表すことができる。マーカは、更に別の形状又は色に更に変えて、動作制御特徴（すなわち選択肢のアクティブ化）の実施完了を表すことができる。
【0084】
[0100] ハイブリッドＢＣＩシステム１００、５００の幾つかの実施形態では、マーカ又はカーソルは、眼球追跡によって登録された眼球運動の軌跡を辿ることによって単に移動することができる。したがって、ＵＩにおいて選択することができる可能な項目は、ＵＩにおける位置がマーカの軌跡（ユーザの目の軌跡を辿る）と交わる項目である。選択は、単なる焦点合わせ又は物体への時限中心窩視等を含め、幾つかの方法によって実施され得る。
【0085】
[0101] 幾つかの実施形態では、マーカは、ユーザの目の軌跡を緊密に辿らず、代わりにドラッグ可能なスティッキーマーカであるように変更することができる。すなわち、ハイブリッドＢＣＩシステム１００、５００の幾つかの実施形態では、ＵＩは、ある物体又は選択肢から別の物体又は選択肢にドラッグアンドドロップすることができるスティッキーマーカを含む動作モードに切り替えられ得る。図１１Ａ及び図１１Ｂは、スティッキーマーカ１１８１を含む一例のＵＩ１１７１を示す。示される例では、ユーザは、ディスプレイの中央におけるホーム位置からスティッキーマーカ１１８１をドラッグし、選択する選択肢１１７９に配置することによってＵＩ１１７１と対話する。例えば、図１１に提示されるＵＸは、ビデオゲームであり得る。ユーザは、ゲームが進行している間、ゲームを一時停止することを望む場合がある。これは、スティッキーマーカ１１８１を使用することによって達成することができる。ユーザは、ホーム位置の中心窩視により、スティッキーマーカ１１８１をディスプレイの中央におけるホーム位置から「ピックアップ」することができる。次に、スティッキーマーカ１１８１を「ドラッグ」することにより、ユーザは、選択する選択肢、例えばブロックアイコン１１７９によって示される「一時停止」選択肢を中心窩視することができる。スティッキーマーカをドラッグしている間、選択肢１１７９を中心窩視することにより、ユーザは、次に、図１１Ｂに示されるように一時停止選択肢１１７９上にスティッキーマーカ１１８１を「ドロップ」することができる。次に、スティッキーマーカ１１８１は、選択された選択肢１１７９に貼り付き、ポインティング制御特徴の実施を完了する。
【0086】
[0102] スティッキーマーカ１１８１を使用するモードで動作するハイブリッドＢＣＩシステムの実施形態では、スティッキーマーカ１１８１を「ピックアップ」していない状態でのユーザの任意の単なる中心窩視又はサッカード眼球運動は、選択又はポインティング制御特徴を実施するいかなる効果も有さない。これは、ユーザの目による漂游注視又は漂游固視による偽の選択の低減に繋がり得る。更に、ユーザは、スティッキーマーカを使用しない場合に必要とされ得るポインティング制御特徴の実施に十分に長い時間、中心窩視又は眼球運動を行う必要がない。したがって、スティッキーマーカの使用は、ユーザによる不自然に長い及び／又は破滅的に長い中心窩視を必要とせずに、高速及び正確なポインティング及び選択とのユーザ対話の容易さを改善することができる。
【0087】
[0103] ハイブリッドＢＣＩシステム１００、５００の実施形態を使用してスティッキーマーカを実施する別の例を図１２Ａ～図１２Ｈに示す。特に、図１２Ａ～図１２Ｈは、スティッキーマーカを使用して、選択肢を選択する場合の一連の事象を示す。例えば、図１２Ａにおいて、一例のＵＩ１２７１は、４つの潜在的な選択肢Ａ、Ｂ、Ｃ及びＤ１２７９並びに画面中央のホーム位置に配置されたスティッキーマーカ１２８１を示す。ＵＩ１２７１は、ポインティング制御特徴のステータスを示し、後述するように、スティッキーマーカ１２８１をドラッグするプロセスを支援するスティッキーグラバーオブジェクト１２８５も含む。ＵＩは、リサイクルビンの記号で示される特別な選択肢１２８３も含む。インターフェース１２７１は、図１２Ｂ～図１２Ｈに繰り返し提示されて、スティッキーマーカ１２８１の使用中、ユーザ対話から生じる一連の変化を示す。
【0088】
[0104] 例えば、図１２Ａでは、スティッキーマーカ１２８１は、ホーム位置にあり、スティッキーグラバー１２８５は、第１の色（例えば、青）を有し、空である。例えば、ユーザは、選択肢Ｂを選択することを望む場合、ホーム位置にあるスティッキーマーカ１２８１に注視を向けることによって開始する。これにより、図１２Ｂに示されるように、スティッキーマーカ１２８１は、スティッキーグラバー１２８５によってグラッブされることになる。特に、ユーザがスティッキーマーカ１２８１を「ピックアップ」するために要求される最小固視持続時間はない。スティッキーマーカ１２８１のホーム位置にわたるユーザの単なる注視の通過により、スティッキーグラバー１２８５によってグラッブすることができる。
【0089】
[0105] スティッキーマーカ１２８１をスティッキーグラバー１２８５にグラッブした後、ユーザは、選択することを望む選択肢、例えば選択肢Ｂに注視を渡すことができる。選択肢へのユーザの注視の単なる横断により、図１２Ｃに示されるように、マーカをその選択肢にドラッグすることができる。選択肢は、即座に選択されない。スティッキーマーカ１２８１が選択肢にドラッグされると直ちに、ユーザに可視であることも又はないこともあるタイマ１２８７を開始することができる。予め設定された時間量後、タイマ１２８７が切れると、選択肢の選択を実現することができる。
【0090】
[0106] しかしながら、タイマ１２８７が切れる前、ユーザが別の選択肢、例えば選択肢Ｄの選択を選択する場合、これは、ユーザがスティッキーマーカ１２８１を有する選択肢Ｂに注視を渡すことによって行うことができる。図１２Ｅに示されるように、これは、スティッキーマーカ１２８１をピックアップし、スティッキーグラバー１２８５に戻す。これに続き、ユーザは、次に、選択する選択肢、例えば選択肢Ｄに注視を渡すことができ、それにより、図１２Ｆに示されるように、スティッキーマーカ１２８１は、選択肢Ｄにドラッグされる。
【0091】
[0107] 何らかの他の動作中、ユーザがスティッキーマーカ１２８１を非意図的にピックアップする場合、図１２Ｆに示されるように、リサイクルビンアイコン１２８３を見ることにより、スティッキーマーカ１２８１を捨てることができる。同様に、ユーザが非意図的にスティッキーマーカ１２８１を望ましくない選択肢にドロップした場合、ユーザのものを、スティッキーマーカ１２８１を有する望ましくない選択肢に戻し、次にリサイクルビンアイコン１２８３を注視することにより、この選択を無効化することができる。
【0092】
選択アクティブ化
[0108] ハイブリッドＢＣＩシステム１００、５００の幾つかの実施形態では、ＵＩは、その状況でハイブリッドＢＣＩシステムの動作の中核をなし得る特定の重要な記号をアクティブ化及び／又は非アクティブ化する好都合なメカニズムを提供するように構成することができる。例えば、ハイブリッドＢＣＩシステムが、ある特定のアプリケーション又は関連するデバイスを制御するＵＩ／ＵＸインターフェースの実行に使用される場合、ＵＩは、選択されると、その特定のアプリケーション又は接続されたデバイスの幾つかの態様を一元制御することができる関連する主要記号又はアイコンを含み得る。
[0108] ハイブリッドＢＣＩシステム１００、５００の幾つかの実施形態では、ＵＩは、その状況でハイブリッドＢＣＩシステムの動作の中核をなし得る特定の重要な記号をアクティブ化及び／又は非アクティブ化する好都合なメカニズムを提供するように構成することができる。例えば、ハイブリッドＢＣＩシステムが、ある特定のアプリケーション又は関連するデバイスを制御するＵＩ／ＵＸインターフェースの実行に使用される場合、ＵＩは、選択されると、その特定のアプリケーション又は接続されたデバイスの幾つかの態様を一元制御することができる関連する主要記号又はアイコンを含み得る。
【0093】
[0109] 一例のアプリケーションは、コアアイコンによって一元制御される、ＵＩを通して提示することができるビデオベースのゲームであり得る。コアアイコンは、選択されると、ゲームプレイを制御し、ゲームプレイ中、ユーザのインベントリ等を制御する幾つかのメニューを表示することができる。したがって、ユーザは、必要に応じて、コアアイコンを選択することによってこれらのメニューにアクセスすることができる。したがって、ゲームプレイへのハイブリッドＢＣＩシステムの使用中、コアアイコンの常時提示が望まれる。しかしながら、ゲームプレイ中、コアアイコンが常時必要とされるわけではない。
【0094】
[0110] 幾つかの実施形態では、コアアイコン等の制御アイコンの常時要件は、一次環境、例えばこの場合にはゲーム環境を妨げないロケーションにおいて、表示されたＵＩ上の何れかの箇所にコアアイコンを配置することによって対処することができる。図１３Ａの一例のＵＩ１３７１に示されるように、妨害しないように配置された制御アイコン１３７９は、小さい半透明の「ｎ」であるコアアイコン例であり得る。図１３Ａは、ＵＩ１３７１の進行中の使用の通常状況下において、一例のコアアイコン１３７９をＵＩ１３７１と共に画面にどのように表示し得るかを示す。
【0095】
[0111] 図１３Ｂ～図１３Ｄは、ＵＩ１３７１におけるコアアイコン１３７９を通した上述した選択アクティブ化プロセスの一例のインスタンス化を示す。例えば、ＵＩ１３７１との進行中の対話中、ユーザは、コアアイコン１３７９を通して利用可能な制御にアクセスすることを望む場合がある。ユーザは、コアアイコン１３７９に向けて中心窩視し得る。眼球運動眼球追跡信号が分析されて、ユーザの注視がコアアイコン１３７９（図１３Ｂに示される）又はその近傍に固定されることを示すと、ＵＩ１３７１は、アイコン１３７９の外観を変えるように変更することができる。例えば、ＵＩ１３７１は、コアアイコン１３７９の外観を半透明からソリッド及び／又は不透明に変えることができる。次に、図１３Ｃにおいてソリッドの有色「ｎ」で示される、ソリッド化されたコアアイコン１３７９の外観を再び変えることができる。例えば、この外観変更（例えば、コアアイコン１３７９のパルシング）は、必要に応じて、コアアイコン１３７９が現在選択可能であることを示すために使用することができる。コアアイコン１３７９が外観を変える時間期間中、ユーザの注視がコアアイコン１３７９から離れて移動する場合、外観変更を停止することができ、例えば図１３Ａに示されるように、コアアイコン１３７９は、非変更状態に戻ることができる。コアアイコン１３７９の動作において、ＵＩ１３７１は、後述するゴーストフラッシュを使用しても又は使用しなくてもよい。
【0096】
[0112] ＵＩ１３７１は、提示された任意の刺激に関連する適切な眼球運動応答又は適切な神経活動を検出するために、ハイブリッドＢＣＩシステムのプロセッサ５２０によって基本ＵＩツールとして使用することができる不可視フラッシュ又はゴーストフラッシュを採用することができる。ＵＩにおいてゴーストフラッシュを制御された様式で採用する幾つかの異なる用途があり得る。例えば、ゴーストフラッシュは、任意の可視刺激のフラッシュに対するユーザ応答を測定するために採用することができる。すなわち、ゴーストフラッシュ中の任意の同時の眼球運動又は神経応答は、真の否定応答として使用することができる。そのような真の否定応答は、適切なトリガーされた刺激、眼球運動又は神経応答の検出のために交差する必要がある１つ又は複数の閾値の設定に使用することができる。ゴーストフラッシュは、ＵＩの選択アクティブ化適合の実施に使用されて、真の選択を漂游注視に起因する偽の選択から区別することができる。
【0097】
[0113] ＵＩに表示されるアイコン又は記号は、ユーザによって操作されるように提供することができる。したがって、アイコン又は記号の利用可能性は、外観の一時的又は一時の変更を介してユーザに示すことができる。外観の変更は、ユーザに警告して変更を意識させ得るように適宜長く及び／又は顕著であり得る。外観の変更は、アイコンの幾つかの属性の何れかの変更を通して実施することができる。例えば、閃光を通して輝度強度、コントラスト、色、サイズ、形状、位置等を変更することによる。外観の変更は、一例として本明細書では閃光として説明される。
【0098】
[0114] 幾つかの実施形態では、例えば、コアアイコンの各変更は、選択肢アイコン、例えば１３７９の外観の１回の変更であり得る「タグ変更」（例えば、タグフラッシュ）としてカウントすることができる。タグ変更は、ＵＩ（例えば、ＵＩ１３７１）に表示されたアイコン又はオブジェクトに結び付けられた外観の変更（例えば、閃光、パルシング等）であり得る。幾つかの選択肢アイコンは、フラッシュグループと呼ばれるグループで一緒に閃光することができるか、又はコアアイコンのような１つの選択肢アイコンがそれ自体でフラッシュグループを形成することができる。ゴーストフラッシュは、コアアイコンに隣接するＵＩの部分におけるスローパルス間及び／又はNeurableアイコンのフラッシュ間で生じることができる。ゴーストフラッシュは、単独で又はフラッシュグループを形成するグループで生じるように構成することができる。ゴーストフラッシュは、選択された閾値の設定に使用することができる。眼球運動応答及び／又は神経活動応答が、ゴーストフラッシュによって設定された閾値を交差する場合、ＵＩ１３７１は、幾つかの選択可能な選択肢、例えば図１３ＤにおいてＡ、Ｂ、Ｃ及びＤで示される選択肢１３７９で埋められた選択メニューを表示することができる。選択メニューの提示に続き、ユーザは、上述したポインティング制御特徴及び動作制御特徴を実施することにより、選択可能な各選択肢に関連する動作を選択及びトリガーすることができる。眼球追跡分析により、ユーザ注視位置がもはや選択メニューエリアの周囲に固定されないと特定される場合、メニューを非アクティブ化することができ、透明コアアイコンを再表示することができる。
【0099】
結論
[0115] まとめると、ユーザによってリアルタイムで動作可能な統合ハイブリッド脳コンピュータインターフェースの実施で使用されるシステム及び方法が本明細書に記載される。開示されるシステムは、ポインティング制御特徴を実施する眼球運動追跡システムと、動作制御特徴を実施する脳活動追跡システムとを含む。両方の特徴は、高速及び正確な動作を可能にするように戦略的に設計されるＵＩの提示を通して実施される。更に、開示されるシステム及び方法は、ハードウェア非依存であり、任意の適したプラットフォームでリアルタイムハイブリッドＢＣＩを実施して、仮想、拡張又は現実環境のユーザ操作を仲介するように構成される。
[0115] まとめると、ユーザによってリアルタイムで動作可能な統合ハイブリッド脳コンピュータインターフェースの実施で使用されるシステム及び方法が本明細書に記載される。開示されるシステムは、ポインティング制御特徴を実施する眼球運動追跡システムと、動作制御特徴を実施する脳活動追跡システムとを含む。両方の特徴は、高速及び正確な動作を可能にするように戦略的に設計されるＵＩの提示を通して実施される。更に、開示されるシステム及び方法は、ハードウェア非依存であり、任意の適したプラットフォームでリアルタイムハイブリッドＢＣＩを実施して、仮想、拡張又は現実環境のユーザ操作を仲介するように構成される。
【0100】
[0116] 種々の実施形態について上述したが、限定ではなく単なる例として提示されたことを理解されたい。上述した方法が、特定の順序で生じる特定の事象を示す場合、特定の事象の順序は、変更可能である。更に、事象の特定のものは、上述したように順次実行することと同様に、可能な場合、並列プロセスで同時に実行され得る。
【0101】
[0117] 上述した概略及び／又は実施形態が、特定の向き又は位置に配置された特定の構成要素を示す場合、構成要素の配置は、変更可能である。実施形態は、具体的に示され及び説明されたが、形態及び細部における種々の変更形態がなされ得ることが理解される。本明細書に記載される装置及び／又は方法の任意の部分は、相互に排他的な組合せを除き、任意の組合せで組み合わされ得る。本明細書に記載される実施形態は、記載された異なる実施形態の機能、構成要素及び／又は特徴の種々の組み合わせ及び／又は部分組み合わせを含むことができる。
【図1】
【図2】
【図3A-3C】
【図3D】
【図3E】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図11A-11D】
【図12A-12H】
【図13A-13D】
