知財求人 - 知財ポータルサイト「IP Force」
特表2024-518267定常状態運動視覚誘発電位を用いたＡＲにおける非同期脳コンピュータ・インターフェース
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-01
(54)【発明の名称】定常状態運動視覚誘発電位を用いたＡＲにおける非同期脳コンピュータ・インターフェース
(51)【国際特許分類】
G06F 3/01 20060101AFI20240423BHJP
A61B 5/378 20210101ALI20240423BHJP
A61B 5/256 20210101ALI20240423BHJP
【ＦＩ】
G06F3/01 515
G06F3/01 560
A61B5/378
A61B5/256 110
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2023561789
(86)(22)【出願日】2022-04-05
(85)【翻訳文提出日】2023-11-20
(86)【国際出願番号】 IB2022053179
(87)【国際公開番号】W WO2022214969
(87)【国際公開日】2022-10-13
(31)【優先権主張番号】63/170,987
(32)【優先日】2021-04-05
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＡＮＤＲＯＩＤ
(71)【出願人】
【識別番号】523380449
【氏名又は名称】コグニクソン コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ピアース，サラ
(72)【発明者】
【氏名】ラヴィ，アラヴィンド
(72)【発明者】
【氏名】ルー，ジン
(72)【発明者】
【氏名】ジャン，ニン
(72)【発明者】
【氏名】フォースランド，アンドレアス
(72)【発明者】
【氏名】ウルリッヒ，クリス
【テーマコード（参考）】
4C127
5E555
【Ｆターム（参考）】
4C127AA03
4C127DD01
4C127GG11
4C127LL13
5E555AA11
5E555AA76
5E555BA38
5E555BB38
5E555BC04
5E555BE17
5E555CA42
5E555CB42
5E555CB65
5E555CB69
5E555CB70
5E555CC01
5E555CC03
5E555DA08
5E555DA09
5E555DA21
5E555DA24
5E555DB11
5E555DD06
5E555EA05
5E555EA19
5E555FA00
(57)【要約】
拡張現実環境における、定常状態運動視覚誘発電位刺激を用いた方法およびシステムが開示される。スマートデバイス上のユーザー・アプリケーションから要求された刺激データを受領される。センサー・データおよび他のコンテキスト・データも受領される。ここで、他のコンテキスト・データは感知されるものではないデータを含む。センサー・データおよび他のコンテキスト・データに基づいて、前記要求された刺激データは、修正された刺激に変換される。修正された刺激および環境刺激を混合し、それによってレンダリングされた刺激をもたらすように構成されたレンダリング・デバイスを用いて、修正された刺激および環境刺激がユーザーに呈示される。ウェアラブル生体信号感知デバイス上で、前記レンダリングされた刺激に応答して生成された生体信号がユーザーから受領される。前記修正された刺激に基づいて、受領された生体信号が分類され、分類された選択をもたらし、それがユーザー・アプリケーションに返される。
【特許請求の範囲】
【請求項1】
スマートデバイス上のユーザー・アプリケーションから一つまたは複数の要求された刺激データを受領するステップと；センサー・データおよび他のコンテキスト・データのうちの少なくとも1つを受領するステップであって、前記他のコンテキスト・データは感知されるものではないデータを含む、ステップと；
少なくとも部分的には前記センサー・データおよび前記他のコンテキスト・データのうちの少なくとも1つに基づいて、前記要求された刺激データの少なくとも一部を修正された刺激に変換するステップと；
前記修正された刺激および環境刺激を混合し、それによってレンダリングされた刺激をもたらすように構成されたレンダリング・デバイスを用いて、前記修正された刺激および環境刺激をユーザーに呈示するステップと；
ウェアラブル生体信号感知デバイス上で、前記レンダリングされた刺激に応答して生成された生体信号をユーザーから受領するステップと；
前記修正された刺激に基づいて、分類器を使用して、受領された生体信号を分類し、分類された選択をもたらすステップと；
前記分類された選択を前記ユーザー・アプリケーションに返すステップとを含む、
方法。
【請求項2】
前記生体信号をユーザーから受領した後に：意図的な制御信号の存在、および
前記意図的な制御信号の不在の少なくとも一方を使って、
前記受領された生体信号を前記分類器に送信するか否かを決定するステップであって、前記意図的な制御信号の存在の決定は：
前記スマートデバイスから手動意図オーバーライド信号を検出すること；
少なくとも部分的には前記受領された生体信号から、ユーザーが前記レンダリングされた刺激のうちの少なくとも1つを凝視することを意図していることを判別すること
の少なくとも一方を含む、ステップと；
前記意図的な制御信号が存在するという条件で、
前記受領された生体信号を前記分類器に送信するステップと；
前記意図的な制御信号が存在しないという条件で、
ユーザーから前記受領された生体信号を受領し続けるステップとをさらに含む、
請求項１に記載の方法。
【請求項3】
前記修正された刺激は、部分的には、前記センサー・データおよび前記他のコンテキスト・データのうちの少なくとも1つを使用してデバイス・コンテキスト状態を決定することに基づく、請求項１に記載の方法。
【請求項4】
前記修正された刺激および環境刺激をユーザーに呈示することは、ユーザーによって感知される視覚デバイス、触覚デバイス、および聴覚デバイスのうちの少なくとも1つを使用して、前記修正された刺激および環境刺激をレンダリングすることを含む、請求項１に記載の方法。
【請求項5】
前記修正された刺激は、定常状態運動視覚誘発電位刺激を含み、前記修正された刺激および環境刺激をユーザーに呈示することは、前記スマートデバイスに関連する拡張現実光学シースルー（AR-OST）デバイス上で前記修正された刺激および環境刺激をレンダリングすることを含む、請求項１に記載の方法。
【請求項6】
前記センサー・データおよび前記他のコンテキスト・データのうちの前記少なくとも1つは：環境データ、身体装着センサー・データ、接続された携帯デバイス・データ、位置固有の接続されたデバイス・データ、およびネットワーク接続されたデバイス・データ
のうちの少なくとも1つを含む、請求項１に記載の方法。
【請求項7】
クラウド・サーバーによって、前記分類器から前記分類された選択を受領するステップであって、前記クラウド・サーバーは：
コンテキスト・マネージャ；
前記分類器による前記受領された生体信号の分類を容易にするために前記スマートデバイスによって使用される機械学習モデル；および
前記機械学習モデルを修正するための少なくとも1つのモデル修正プロセスを含む、ステップと；
前記コンテキスト・マネージャによって、現在のコンテキスト状態データおよび他の状態データの要求のうちの少なくとも1つを受領するステップと；
前記少なくとも1つのモデル修正プロセスによって、前記コンテキスト・マネージャから新しい状態データおよび更新された状態データのうちの少なくとも1つを受領するステップと；
前記少なくとも1つのモデル修正プロセスと、前記分類された選択、前記新しい状態データ、および前記更新された状態データのうちの少なくとも1つとを使用して、前記機械学習モデルを更新するステップとをさらに含む、
請求項１に記載の方法。
【請求項8】
前記クラウド・サーバーから前記スマートデバイスに更新された機械学習モデルを送信するステップと；前記スマートデバイス上の機械学習モデル送信コントローラを使用して、前記更新された機械学習モデルを前記分類器に送信するステップとをさらに含む、
請求項７に記載の方法。
【請求項9】
前記スマートデバイス上のコンテキスト・モジュールによって、前記機械学習モデル送信コントローラを使用して、前記クラウド・サーバーに新しい機械学習モデルを要求するステップと；前記スマートデバイスによって、前記クラウド・サーバーから前記新しい機械学習モデルを受領するステップと；
前記新しい機械学習モデルを前記分類器に送信するステップとをさらに含む、
請求項８に記載の方法。
【請求項10】
クラウド・サーバー上のコンテキスト・マネージャをさらに備え、前記コンテキスト・マネージャは、追加的なコンテキスト情報を前記スマートデバイスに提供する、請求項１に記載の方法。
【請求項11】
スマートデバイスと；レンダリング・デバイスと；
ユーザー上のウェアラブル生体信号感知デバイスと；
プロセッサと；
命令を記憶しているメモリ
とを備えるシステムであって、前記命令は、前記プロセッサによって実行されると、当該システムを：
前記スマートデバイス上のユーザー・アプリケーションから一つまたは複数の要求された刺激データを受領するステップと；
センサー・データおよび他のコンテキスト・データのうちの少なくとも1つを受領するステップであって、前記他のコンテキスト・データは感知されるものではないデータを含む、ステップと；
少なくとも部分的には前記センサー・データおよび前記他のコンテキスト・データのうちの少なくとも1つに基づいて、前記要求された刺激データの少なくとも一部を修正された刺激に変換するステップと；
前記修正された刺激および環境刺激を混合し、それによってレンダリングされた刺激をもたらすように構成された前記レンダリング・デバイスを用いて、前記修正された刺激および環境刺激をユーザーに呈示するステップと；
前記ウェアラブル生体信号感知デバイス上で、前記レンダリングされた刺激に応答して生成された生体信号をユーザーから受領するステップと；
前記修正された刺激に基づいて、分類器を使用して、受領された生体信号を分類し、分類された選択をもたらすステップと；
前記分類された選択を前記ユーザー・アプリケーションに返すステップとを実行するように構成するものである、
システム。
【請求項12】
前記命令はさらに、当該システムを、前記生体信号をユーザーから受領した後に：意図的な制御信号の存在、および
前記意図的な制御信号の不在の少なくとも一方を使って、
前記受領された生体信号を前記分類器に送信するか否かを決定するステップであって、前記意図的な制御信号の存在の決定は：
前記スマートデバイスから手動意図オーバーライド信号を検出すること；
少なくとも部分的には前記受領された生体信号から、ユーザーが前記レンダリングされた刺激のうちの少なくとも1つを凝視することを意図していることを判別すること
の少なくとも一方を含む、ステップと；
前記意図的な制御信号が存在するという条件で、
前記受領された生体信号を前記分類器に送信するステップと；
前記意図的な制御信号が存在しないという条件で、
ユーザーから前記受領された生体信号を受領し続けるステップとを実行するように構成するものである、
請求項１１に記載のシステム。
【請求項13】
前記修正された刺激は、部分的には、前記センサー・データおよび前記他のコンテキスト・データのうちの少なくとも1つを使用してデバイス・コンテキスト状態を決定することに基づく、請求項１１に記載のシステム。
【請求項14】
前記修正された刺激および環境刺激をユーザーに呈示することは、ユーザーによって感知される視覚デバイス、触覚デバイス、および聴覚デバイスのうちの少なくとも1つを使用して、前記修正された刺激および環境刺激をレンダリングすることを含む、請求項１１に記載のシステム。
【請求項15】
前記修正された刺激は、定常状態運動視覚誘発電位刺激を含み、前記修正された刺激および環境刺激をユーザーに呈示することは、前記スマートデバイスに関連する拡張現実光学シースルー（AR-OST）デバイス上で前記修正された刺激および環境刺激をレンダリングすることを含む、請求項１１に記載のシステム。
【請求項16】
前記センサー・データおよび前記他のコンテキスト・データのうちの前記少なくとも1つは：環境データ、身体装着センサー・データ、接続された携帯デバイス・データ、位置固有の接続されたデバイス・データ、およびネットワーク接続されたデバイス・データ
のうちの少なくとも1つを含む、請求項１１に記載のシステム。
【請求項17】
前記命令はさらに、当該システムを：クラウド・サーバーによって、前記分類器から前記分類された選択を受領するステップであって、
前記クラウド・サーバーは：
コンテキスト・マネージャ；
前記分類器による前記受領された生体信号の分類を容易にするために前記スマートデバイスによって使用される機械学習モデル；および
前記機械学習モデルを修正するための少なくとも1つのモデル修正プロセスを含む、ステップと；
前記コンテキスト・マネージャによって、現在のコンテキスト状態データおよび他の状態データの要求のうちの少なくとも1つを受領するステップと；
前記少なくとも1つのモデル修正プロセスによって、前記コンテキスト・マネージャから新しい状態データおよび更新された状態データのうちの少なくとも1つを受領するステップと；
前記少なくとも1つのモデル修正プロセスと、前記分類された選択、前記新しい状態データ、および前記更新された状態データのうちの少なくとも1つとを使用して、前記機械学習モデルを更新するステップとを実行するように構成するものである、
請求項１１に記載のシステム。
【請求項18】
前記命令はさらに、当該システムを：前記クラウド・サーバーによって前記スマートデバイスに更新された機械学習モデルを送信するステップと；
前記スマートデバイス上の機械学習モデル送信コントローラを使用して、前記更新された機械学習モデルを前記分類器に送信するステップとを実行するように構成するものである、
請求項１７に記載のシステム。
【請求項19】
前記命令はさらに、当該システムを：前記スマートデバイス上のコンテキスト・モジュールによって、前記機械学習モデル送信コントローラを使用して、前記クラウド・サーバーに新しい機械学習モデルを要求するステップと；
前記スマートデバイスによって、前記クラウド・サーバーから前記新しい機械学習モデルを受領するステップと；
前記新しい機械学習モデルを前記分類器に送信するステップとを実行するように構成するものである、
請求項１８に記載のシステム。
【請求項20】
スマートデバイス上のユーザー・アプリケーションから一つまたは複数の要求された刺激データを受領するステップと；センサー・データおよび他のコンテキスト・データのうちの少なくとも1つを受領するステップであって、前記他のコンテキスト・データは、感知されるものではないデータを含む、ステップと；
少なくとも部分的には前記センサー・データおよび前記他のコンテキスト・データのうちの少なくとも1つに基づいて、前記要求された刺激データの少なくとも一部を修正された刺激に変換するステップであって、前記修正された刺激は、定常状態運動視覚誘発電位刺激を含む、ステップと；
前記修正された刺激と環境刺激とを混合し、それによりレンダリングされた刺激をもたらすように構成されたレンダリング・デバイスを用いて、前記修正された刺激および環境刺激をユーザーに呈示するステップであって、前記修正された刺激および環境刺激をユーザーに呈示することは：
ユーザーによって感知される視覚デバイス、触覚デバイス、および聴覚デバイスのうちの少なくとも1つを使用して前記修正された刺激および環境刺激をレンダリングすること；および
前記スマートデバイスに関連する拡張現実光学シースルー（AR-OST）デバイス上で前記修正された刺激および環境刺激をレンダリングすることのうちの少なくとも1つを含む、ステップと；
ウェアラブル生体信号感知デバイス上で、前記レンダリングされた刺激に応答して生成される、ユーザーからの生体信号を受領するステップと；
意図的な制御信号の存在；または
前記意図的な制御信号の不在
のうちの少なくとも1つを使用することによって、前記生体信号を分類器に送るかどうかを決定するステップであって、前記意図的な制御信号の存在の決定は：
前記スマートデバイスからの手動意図オーバーライド信号を検出すること、および
少なくとも部分的には、受領された生体信号から、ユーザーが前記レンダリングされた刺激のうちの少なくとも1つを凝視することを意図していることを決定することのうちの少なくとも1つを含む、ステップと；
前記意図的な制御信号が存在するという条件で：
前記受領された生体信号を前記分類器に送るステップと；
前記意図的な制御信号が存在しないという条件で：
ユーザーから前記受領された生体信号を受領し続けるステップと；
前記修正された刺激に基づいて前記分類器を使用して前記受領された生体信号を分類し、分類された選択をもたらすステップと；
分類された選択を前記ユーザー・アプリケーションに返すステップとを含む、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、2021年4月5日に出願された米国仮特許出願第63/170,987号の利益を主張するものであり、その内容は参照によりその全体が本明細書に組み込まれる。
本願は、2021年4月5日に出願された米国仮特許出願第63/170,987号の利益を主張するものであり、その内容は参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
脳波検査ベースの脳コンピュータ・インターフェース（brain computer interface、BCI）は、ヒトが、末梢神経および筋肉を迂回して、脳と外部環境との間の直接的な通信経路を確立することを可能にする。定常状態視覚誘発電位（steady-state visually evoked potential、SSVEP）ベースのBCIは、区別可能な特性（たとえば異なる周波数）をもつ反復的な視覚刺激に対する脳波（EEG）応答を検出する従属型または反応型BCIである。BCIは、後頭皮質および頭頂後頭皮質において記録されたEEGからの標的とされる刺激周波数におけるSSVEP応答を検出することによって、どの刺激がユーザーの視覚的注意を占有するかを判定しうる。これは、標的とされる刺激周波数において、および潜在的にはその高次高調波または低調波において、有意なピークとして現れうる。
【0003】
伝統的には、これらの刺激は、大部分がコンピュータ画面上に呈示される。しかしながら、拡張現実（AR）および仮想現実（VR）デバイスは、ユーザーが同じ視野内で反復的な視覚刺激および外部環境を見ることを許容し、向上されたユーザー体験を提供しうる。いくつかの研究は、SSVEPと組み合わされたビデオシースルー（video see-through、VST）ベースのヘッドマウントディスプレイ（head-mounted display、HMD）の使用に基づくARアプローチを調査してきた。これらの研究は、ゲーム、3D空間におけるナビゲーション、クアッドコプター制御などの用途のためにAR-BCIを適用しており、現実世界のシーンは、HMDの上部に配置されたカメラを使用して取得され、VR環境内に表示される。
【0004】
SSVEP刺激は、最も一般的には、強度が固定周波数で変調される単色物体として設計される。結果として、ユーザーには明滅しているオブジェクトとして見える。この明滅する刺激は、視覚疲労および不快感を誘発する可能性がある。結果として、これは、BCIの全体的な信号対雑音比（SNR）、復号性能、および対話性を低下させる。さらに、従来の構成におけるコンピュータ画面または他の不透明媒体上でのこれらの刺激の呈示は、潜在的な拡張現実ARアプリケーションにおけるシステムの適用シナリオを制限する。現実世界の環境では、ユーザーは、モニター上の刺激呈示と通常の視野との間で視覚的注意を行ったり来たりシフトさせる必要がある場合があり、通常の視野は、多数の気を散らすまたは混乱させる視覚刺激を含む場合があり、結果として得られるEEG読み取り値におけるSNRにさらに影響を与え、潜在的には、閲覧者の注視および注意のBCI決定の精度を低下させる。VSTベースのHMDはこの能力を提供するが、カメラによって大きく制約される制限された視野を提供する。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、BCI応答を誘発する際にSSVEP刺激の機能を実行する視覚刺激を試験し、トレーニングし、実装することができる一方で、閲覧者の視覚疲労および不快感を低減し、VR/AR用途で使用するためのBCIの信号対雑音比、復号性能、および対話性を改善する方法およびシステムが必要である。加えて、現実世界のユーザーAR/VRアプリケーションによりよく似た環境および機器で、これらの刺激を試験し、トレーニングし、実装する必要がある。さらに、やはり分類可能なEEG信号を生成することが知られている聴覚または体性感覚誘発電位刺激などの他の刺激を試験し、トレーニングし、実装することができるシステムが必要である。
【課題を解決するための手段】
【0006】
ある側面では、方法は、スマートデバイス上のユーザー・アプリケーションから一つまたは複数の要求された刺激データを受領するステップと、センサー・データおよび他のコンテキスト・データのうちの少なくとも1つを受領するステップであって、前記他のコンテキスト・データは感知されるものではないデータを含む、ステップと、前記センサー・データおよび前記他のコンテキスト・データのうちの少なくとも1つに少なくとも部分的に基づいて、要求された刺激データの少なくとも一部を修正された刺激に変換するステップと、修正された刺激および環境刺激を混合し、それによってレンダリングされた刺激をもたらすように構成されたレンダリング・デバイスを用いて、前記修正された刺激および環境刺激をユーザーに呈示するステップと、ウェアラブル生体信号感知デバイス上で、前記レンダリングされた刺激に応答して生成された生体信号をユーザーから受領するステップと、前記修正された刺激に基づいて分類器を使用して受領された生体信号を分類し、分類された選択をもたらすステップと、前記分類された選択を前記ユーザー・アプリケーションに返すステップとを含む。
【0007】
ある側面では、システムは、スマートデバイスと、レンダリング・デバイスと、ユーザー上のウェアラブル生体信号感知デバイスと、プロセッサと、前記プロセッサによって実行されると、上記の方法を実行するようにシステムを構成する命令を記憶するメモリとを備える。
【0008】
ある側面では、方法は、スマートデバイス上のユーザー・アプリケーションから一つまたは複数の要求された刺激データを受領することを含む。本方法はまた、センサー・データおよび他のコンテキスト・データのうちの少なくとも1つを受領することを含み、前記他のコンテキスト・データは、感知されるものではないデータを含む。本方法は、次いで、前記センサー・データおよび前記他のコンテキスト・データのうちの少なくとも1つに少なくとも部分的に基づいて、要求された刺激データの少なくとも一部を修正された刺激に変換することを含み、前記修正された刺激は、定常状態運動視覚誘発電位刺激ならびに他の誘発電位を含む。本方法は、前記修正された刺激と環境刺激とを混合し、それによりレンダリングされた刺激をもたらすように構成されたレンダリング・デバイスを用いて、前記修正された刺激および環境刺激をユーザーに呈示するステップであって、これは、ユーザーによって感知される視覚デバイス、触覚デバイス、および聴覚デバイスのうちの少なくとも1つを使用することを含む、ステップと、前記スマートデバイスに関連付けられた拡張現実光学シースルー（augmented reality optical see-through、AR-OST）デバイス上で前記修正された刺激および環境刺激をレンダリングするステップとのうちの少なくとも1つを含む。本方法は、次いで、ウェアラブル生体信号感知デバイス上で、前記レンダリングされた刺激に応答して生成される、ユーザーからの生体信号を受領するステップを含む。本方法は、意図的な制御信号の存在または不在のうちの少なくとも1つを使用することによって、前記生体信号を分類器に送るかどうかを決定することをさらに含み、前記意図的な制御信号の存在の決定は、前記スマートデバイスからの手動意図オーバーライド信号を検出すること、および少なくとも部分的に、受領された生体信号から、ユーザーが前記レンダリングされた刺激のうちの少なくとも1つを凝視することを意図していることを決定することのうちの少なくとも1つを含む。前記意図的な制御信号が存在するという条件で、本方法は、受領された生体信号を前記分類器に送ることを含む。前記意図的な制御信号が存在しないという条件で、本方法は、ユーザーから受領生体信号を受領し続けることを含む。本方法は、次いで、前記修正された刺激に基づいて前記分類器を使用して受領された生体信号を分類し、分類された選択をもたらすことを含む。本方法は最後に、分類された選択を前記ユーザー・アプリケーションに返すことを含む。
【図面の簡単な説明】
【0009】
任意の特定の要素または工程の議論を容易に識別するために、参照番号における最上位桁（単数または複数）は、その要素が最初に導入される図番号を指す。
【0010】
【図1】ある実施形態による、SSMVEP BCI 100を使用するためのプロセスを示す。
【0011】
【図2】AおよびBは、例示的なSSVEPパターンおよびバリエーション200を示す。
【0012】
【図3】A～Dは、ある実施形態による例示的なSSMVEPパターンおよびバリエーション300を示す。
【0013】
【図4】AおよびBは、SSVEP BCI対話400のための両眼投影を示す。
【0014】
【図5】Aおよび5は、ある実施形態によるSSMVEP BCI対話500のための両眼投影を示す。
【0015】
【図6】ある実施形態によるAR-OST BCI構成600を示す。
【0016】
【図7】AおよびBは、ある実施形態による、AR-OST 700を用いたSSVEP BCI使用のための投影を示す。
【0017】
【図8A】ある実施形態による、AR-OST 700を用いたSSMVEP BCI使用のための投影を示す。
【図8B】ある実施形態による、AR-OST 700を用いたSSMVEP BCI使用のための投影を示す。
【図8C】ある実施形態による、AR-OST 700を用いたSSMVEP BCI使用のための投影を示す。
【0018】
【図9】ある実施形態によるC-CNNプロセス900を示す。
【0019】
【図10】ある実施形態によるIC状態およびNC状態1000を示す。
【0020】
【0021】
【図11A】SSVEP 8Hzの結果1100aを示す。
【0022】
【図11B】SSMVEP 8Hzの結果1100bを示す。
【0023】
【図11C】SSVEP 10Hzの結果1100cを示す。
【0024】
【図11D】SSMVEP 10Hzの結果1100dを示す。
【0025】
【図11E】SSVEP 12Hzの結果1100eを示す。
【0026】
【図11F】SSMVEP 12Hzの結果1100fを示す。
【0027】
【図11G】SSVEP 15Hzの結果1100gを示す。
【0028】
【図11H】SSMVEP 15Hzの結果1100hを示す。
【0029】
【図12】ある実施形態によるシステム1200を示す。
【0030】
【図13】ある実施形態による分類器モデル修正1300を示す。
【0031】
【図14】ある実施形態によるスマートデバイス1400を示す。
【0032】
【図15】ある実施形態によるクラウド・コンピューティング・システム1500を示す。
【0033】
【図16】ある実施形態によるクラウド・コンピューティング機能抽象化層1600を示す。
【発明を実施するための形態】
【0034】
定常状態運動視覚誘発電位（SSMVEP）ベースのBCIは、BCIの疲労、視覚的不快感、および比較的低い対話パフォーマンスを含む、SSVEP BCI使用の欠点に対処する。SSVEP刺激の明滅スタイルとは対照的に、SSMVEP刺激は、視覚的に知覚される運動を誘発するように設計される。ある実施形態では、この設計は、固定周波数で変調されうる、等輝度（equal-luminance）白黒放射状チェッカーボードを含みうる。具体的には、この運動パターンは、刺激の半径方向の収縮および拡張を含みうる。SSMVEP BCIは、オペレーターにとってのSSVEP関連の不快感を最小限にしつつ、他のタイプのBCIと比較して、高いSNR、高い情報転送レート（information transfer rate、ITR）、および低い参加者トレーニング時間など、SSVEP BCIの利点を含む。SSMVEP刺激は、AR/VR HMDを介して呈示されうる。ポータブルEEGシステムは、AR HMDと一緒に使用されてもよく、またはAR HMD内に組み込まれてもよく、このため、AR/VRベースのBCIは、研究室環境外でBCIを実装し、実用的な現実世界の用途を実現するための有望なアプローチになる。光学シースルー（OST）ベースのHMDは、現実世界の環境視覚刺激上への刺激のオーバーレイを提供するために従来使用されるVST HMDを上回る改善を提供しうる。OST ARデバイスは、半透明画面または光学要素を備えうる。生成された刺激等の仮想コンテンツは、画面上に直接表示され、ユーザーの通常の視野、およびその視野内に存在する環境刺激にオーバーレイされてもよい。ある実施形態では、新規のAR-OSTベースのBCIシステムは、現在のSSVEPシステムの課題にさらに対処することができる。AR-OSTベースのBCIシステムは、本明細書で開示されるような4ターゲットSSMVEP BCIを使用することができる。
【0035】
ユーザーは、望むときはいつでも、非同期方式でBCIと対話することができる。これは、BCIが正確な刺激タイミングまたは事前定義された時間フレームに依存しなくてもよいことを意味する。キューによってペース付けされる、または同期的なBCIと比較して、非同期動作は、応答の連続的な復号および解析を伴いうる。この動作は、より技術的に要求が厳しいが、より自然な形の対話を提供することができる。非同期的な対話の間、動作は、2つの状態、すなわち、意図的制御（intentional control、IC）状態および無制御（no control、NC）状態に関わってもよい。本開示における「IC状態」は、ユーザーが、生成された刺激を注視していると検出、判定、または想定される時間を指す。本開示における「NC状態」は、静止状態、またはユーザーが、生成された刺激を注視していないと検出、判定、または想定される時間を指す。畳み込みニューラルネットワーク（CNN）ベースの方法が、SSMVEP BCIの非同期的分類において使用されてもよく、より伝統的な分類アルゴリズムと比較して改善された精度および効率性で機能しうる。BCIシステムのオフライン復号性能は、非同期方式で処理されたデータについて複素スペクトルCNN（Complex Spectrum CNN、C-CNN）を使用して評価されうる。
【0036】
図1は、ある実施形態による、SSMVEP BCI 100を使用するためのプロセスを示す。SSMVEP BCI 100を使用するためのプロセスは、ブロック106において、SSMVEPで生成された刺激102をAR-OSTに提供することによって始まる。本開示における「生成された刺激」は、コンピュータ、AR/VRヘッドセット、または他の同様のデバイスの動作によってBCIユーザーに呈示される、事前定義されたまたは動的に決定された知覚可能なエンティティを指す。一用途では、生成された刺激は、ユーザーの視野に投影されるアイコン・タイプのデジタル・グラフィックであってもよい。ユーザーによるそのような刺激の知覚は、BCIによって検出および解析されるユーザーのEEGパターンの変化をもたらしうる。いくつかの用途では、生成された刺激をユーザーが感知することによって誘発されるEEGパターン変化は、ユーザーによって意図された選択、決定、またはアクションを示すものとして解釈されうる。
【0037】
ある実施形態では、ユーザーは、一つまたは複数のタイプの環境刺激から隔離されてもよい。これは、比較のためのベースライン読み取り値を提供するために、環境刺激からの干渉に対するBCIの堅牢性を決定する際の実験的目的のためでありうる。別の実施形態では、環境刺激は、その使用事例に特有の理由で遮断されうる。別の実施形態では、SSMVEPで生成された刺激102に加えて、ブロック106において、環境刺激104が、AR-OSTに、またはそれを通して提供されうる。本開示における「環境刺激」は、BCIユーザーの外部にあり、BCIユーザーの周囲の環境において知覚可能な視覚、聴覚、触覚、嗅覚、または他の刺激を指す。ユーザーによるそのような刺激の知覚は、BCIによって検出および解析されるユーザーのEEGパターンにおける変化をもたらしうる。環境刺激104は、ユーザーのEEGパターンに影響を与える可能性があり、そのような影響は、SSMVEPで生成される刺激102からの影響と競合または衝突する可能性があるので、環境刺激104は、干渉を引き起こし、SSMVEP生成刺激102とのユーザーの対話を解釈するBCIの機能を低下させる可能性がある混乱因子（confounder）とみなすことができる。
【0038】
よって、ある実施形態では、ブロック106においてAR-OSTに呈示されるSSMVEP生成刺激102を変調するために環境刺激104を使用することができる。たとえば、明滅光がユーザーの環境において検出され、その光がデフォルト生成刺激に関連付けられた表示交替の周波数に近い周波数で明滅している場合、呈示されるSSMVEP生成刺激102は、BCIがユーザーの検出された脳活動の周波数ベースの解釈において混乱させられないように、何らかの他の交替周波数をもって呈示されてもよい。いくつかの環境刺激104の中でSSMVEP生成刺激102との相互作用からユーザーの意図を解釈する際のBCIパフォーマンスの信頼性を改善するために、呈示されたSSMVEP生成刺激102を変調するために、時刻、位置などの他の環境データが使用されてもよい。
【0039】
ブロック106において、AR-OSTは、SSMVEP生成刺激102および環境刺激104をユーザーに呈示することができる。AR-OSTは、新規の刺激を同時にプログラム的に生成および呈示しながら、環境刺激を通過させることができるコンピュータ化されたシステムであってもよい。ある実施形態では、これは、ユーザーが周囲の環境を視覚的に知覚することを許容し、よって、環境刺激104をユーザーに提供する、レンズを含有するバイザーをもつARヘッドセットであってもよい。レンズは、ある実施形態では、ユーザーのための生成された刺激を生じるために光を放射することができる透明有機発光デバイス（transparent organic light-emitting device、TOLED）を含むことができる。別の実施形態では、レンズは、着用者に対する環境の可視性を妨げないが、着用者の視野外であるがレンズの背後のバイザー内にあるデバイスから投影された像を反射することができる程度に、内面上で反射性であってもよい。そのような実施形態では、バイザーは、スマートフォンなどのスマートデバイスの挿入のための間隙またはスリットを備えていてもよい。SSMVEP生成刺激102は、スマートフォンのディスプレイによって生成され、AR-OSTのレンズによって反射されてユーザーに返されてもよい。
【0040】
ブロック106においてAR-OST上にまたはそれを通じて呈示されるSSMVEP生成刺激102および環境刺激104は、ブロック108においてユーザーの生理部（physiology）に送信されてもよい。本開示における「ユーザー生理部」は、ユーザーの感覚および知覚器官を指し、典型的には、媒介組織、末梢神経、および中枢神経系を含む。光刺激については、これは、眼組織、網膜、および後頭葉を含む。ユーザー生理部は、SSMVEP生成刺激102および環境刺激104が、神経電気信号として、ユーザーの脳に到達し、影響を及ぼす経路でありうる。該神経電気信号はEEG接点等のセンサーによって検出されうる。
【0041】
EEG信号が、ブロック108において、これらのEEG接点によって検出されうる。一つまたは複数のEEG信号は、ユーザーの頭蓋との非侵襲的接触を通して、このようにして取得されうる。ある実施形態では、これらの信号は侵襲的に得られてもよい。別の実施形態では、EEG信号は、侵襲性および非侵襲性センサーの混合を使用して取得されてもよい。
【0042】
判断ブロック112において、EEG信号を監視および解析するBCIが、検出されたEEG信号が、ユーザーがIC状態において参加していることを表すかNC状態において参加していることを表すかを決定することができる。意図的な制御が判別または検出されない場合、BCIは、ブロック110においてEEG信号の監視に戻ることができる。BCIがユーザー側の意図的な制御を判別または検出した場合、SSMVEP BCI 100を使用するためのプロセスは、ブロック114において分類器に進むことができる。ある実施形態では、IC状態は、刺激が呈示されたときに生起すると決定されてもよく、NC状態は、刺激が呈示されないときに生起すると決定されてもよい。別の実施形態では、AR/VRヘッドセットに組み込まれたカメラまたは追加のセンサーまたは他の構成によって実行される視線追跡が、ユーザーのフォーカスを提供された刺激上にあるものとして検出するために使用されてもよく、これが、ユーザーがIC状態において対話していることを示すために使用されてもよい。別の実施形態では、刺激の明白な感知と隠れた感知との間の遷移は、EEGデータにおいて検出され得、眼のフォーカスおよび意図を決定するために使用されてもよい。このステップは、ある実施形態では、BCIの外部で処理することによって決定されてもよい。この決定または検出をBCI解析に組み込むためのトレーニングは必要とされなくてよい。別の実施形態では、意図検出は、デバイスにプログラムされた、またはクラウドから取り出されたヒューリスティックによって決定されてもよい。別の実施形態では、意図検出は、意図検出のために特にトレーニングされたニューラルネットワークの一部でありうる分類器において行われる。
【0043】
ブロック114において、検出されたEEG信号を特徴付けるために分類器が呼び出されてもよい。分類器は、EEG信号がSSMVEP生成刺激102のうちの一つまたは複数に対応するかどうかを評価することができる。刺激が存在する確率を表す0から1の範囲内で値の配列が生成されてもよい。いくつかの実施形態では、ソフトマックス・アルゴリズムまたは選択プロセスが、分類器出力から単一の要素を選択しうる。判断ブロック116において刺激特性が検出されない場合、SSMVEP BCI 100を使用するためのプロセスはブロック114に戻ることができる。いくつかの実施形態では、生成された値の配列は、特定の分類決定なしにさらなる処理に提供されてもよい。
【0044】
決定ブロック116において刺激特性が検出された場合、SSMVEP BCI 100を使用するためのプロセスは、さらなる処理を実行することに進んでもよい（ブロック118）。さらなる処理は、ある実施形態では、分類器アルゴリズムの洗練と、BCIの性能を改善するためにこれらの洗練を用いてブロック114において分類器を更新することとを含みうる。
【0045】
ある実施形態では、SSMVEP生成刺激102のための運動の空間的および時間的周波数は、環境刺激104から感知される空間的および時間的混乱因子の分布に基づいて変調されうる。このようにして、SSMVEP発生器は、周囲刺激にかかわらず堅牢性を最大化することができる。別の実施形態では、SSMVEP生成刺激102の集合が解析されて、それらの主要な視覚周波数を抽出することができる。次いで、これらの周波数をEEG信号解析中に、ユーザーの注意を分類する（たとえば、IC状態かNC状態）ために使用することができる。別の実施形態では、SSMVEP生成刺激102の集合が解析されて、それらの主空間周波数を計算することができる。視覚呈示の間、アニメーション・レートは、特定の時間周波数が生成されるように刺激更新を増加または減少させるように修正されうる。これらの周波数は、周囲周波数および／または環境刺激104もしくは他の同時に呈示される刺激の周波数（空間的または時間的）と最大限に異なるように選択されてもよい。別の実施形態では、時間周波数は、直交符号化方式、擬似ランダムシーケンス、または他の決定論的生成変調を使用して変調されうる。
【0046】
図2のAおよびBは、例示的なSSVEPパターンおよびバリエーション200を示す。4つのSSVEP刺激は、図2のAに示されるような基本SSVEPパターン202に配置されてもよい。絵文字が、明滅するSSVEP刺激として使用されてもよい。ある実施形態では、これは、図示されるような円形絵文字であってもよいが、当業者によって知られている任意の形状の絵文字が使用されうる。このタイプのSSVEP刺激は、従来の単色、有色、円形刺激と比較して、より現実的で魅力的な刺激を提供することができる。
【0047】
パターン内のSSVEP刺激のそれぞれは、変化の異なる周波数に対応してもよい。たとえば、1つの刺激は、図2のBにおけるSSVEP画像オン204およびSSVEP画像オフ206によって示されるように、オン状態とオフ状態との間で遷移してもよい。8Hz、10Hz、12Hz、および15Hzのフリッカー（オン／オフ）周波数はそれぞれ、基本SSVEPパターン202内のSSVEP刺激のうちの1つに適用されてもよい。
【0048】
図3のA～Dは、ある実施形態による例示的なSSMVEPパターンおよびバリエーション300を示す。図3のAに示されるような基本SSMVEPパターン302は、図2のAの基本SSVEPパターン202について使用されうるものと同じ4刺激配列を含みうる。しかしながら、放射状チェッカーボード画像がSSMVEP刺激として使用されてもよい。SSMVEP刺激は、先に論じたSSVEP刺激のようにオン、オフと明滅するまたはフリッカーすることを意図されておらず、反復運動を組み込むことができる。ある実施形態では、これらの反復運動は、図2のAおよびBに関して説明したのと同じ8Hz、10Hz、12Hz、および15Hzの周波数で発生しうる。別の実施形態では、複数の別個の刺激がユーザーに対してレンダリングされてもよい。これらの異なる刺激は、SSVEP、放射状チェッカーボードSSMVEP、またはアニメーションSSMVEP（後述）の任意の組み合わせを含むことができる。
【0049】
SSMVEP刺激の反復運動は、いくつかの形をとりうる。ある実施形態では、基本SSMVEP画像304は、図3のBに示されるように、所望の周波数で、異なるパターン密度306を有するSSMVEP画像に遷移して、戻ることができる。ある実施形態では、基本SSMVEP画像304は、図3のCに示されるように、所望の周波数で、異なるサイズ308を有するSSMVEP画像に遷移し、戻ることができる。ある実施形態では、基本SSMVEP画像304は、所望の周波数で、図3のDに示されるように、回転されたSSMVEP画像310に遷移し、戻ることができる。動きを表す前記画像に対する他の変更が、当業者によって考えられてもよい。
【0050】
別の実施形態では、SSMVEP刺激は、一つまたは複数の静止画像を含むステッカーまたは絵文字などの反復的なアニメーション・グラフィック・シーケンスに基づくことができる。SSMVEP刺激は、BCIによって感知されうる特定の空間的および／または時間的刺激周波数を生成するように再生速度を変化させることによって、アニメーション・シーケンスから生成されてもよい。
【0051】
図4のAおよびBは、SSVEP BCI対話400のための両眼投影を示す。そのような投影は、VST HMDまたは本明細書に開示される解決策に組み込まれる新規のAR-OSTを装着しているユーザーに対して表示されうる。ARヘッドセット内の視覚刺激は、個々のユーザーのために較正され、意図されるディスプレイの中心点をユーザーの視野の中心に整列させてもよい。
【0052】
ある実施形態では、図4のAに示されるように、前述の基本SSVEPパターン202は、無地の黒色背景等の非アクティブ背景402上にオーバーレイされて表示されてもよい。
【0053】
別の実施形態では、図4のBに示されるように、基本SSVEPパターン202は、アクティブ背景404上にオーバーレイされて表示されてもよい。たとえば、毎秒30フレームで再生される都市場面のステレオ・ビデオが使用されてもよい。ビデオは、一人称ビューを示してもよく、カメラは、典型的な混雑した北米市街地の通りを通ってナビゲートする自動車の正面に搭載される。
【0054】
基本SSVEPパターン202の4つのSSVEP刺激は、ステレオ・ビデオに重ね合わされ、前景で呈示されてもよく、ビデオは背景で連続的に再生される。ビデオはまた、右折・左折をナビゲートし、交通信号で停止するような一人称ビューを示してもよく、背景音を含んでいてもよく、ビデオ内の異なる点での視点移動または一時停止を含んでいてもよい。
【0055】
図5のAおよびBは、ある実施形態によるSSMVEP BCI対話500のための両眼投影を示す。基本SSMVEPパターン302の4つのSSMVEP刺激は、図4のAおよびBに関して説明した構成と同様に、図5のAに示されるような非アクティブ背景402および図5のBに示されるようなアクティブ背景404に重ね合わせられてもよい。
【0056】
図6は、ある実施形態によるAR-OST BCI構成600を示す。この構成では、ユーザー602は、部分的に透明であってもよく、いくつかの実施形態では部分的に反射性であってもよい、軽量の光学シースルーAR-OSTシールド606を備えるAR-OST 604を装着しうる。AR-OSTシールド606は、フレーム608内に保持されてもよく、フレーム608はまた、スマートデバイス612が挿入されたスマートデバイス・スロット610を含む。このようにして、スマートデバイス612の画面上に生成された画像は、AR-OSTシールド606の内面から反射し、ユーザー602に見える可能性がある。別の実施形態では、AR-OSTシールド606は、OLEDレンダリングされた視覚刺激を環境光源と混合して、混合画像をユーザーの眼に呈示することができる透明有機発光デバイス（TOLED）などのアクティブ・レンダリング機構を組み込むことができる。別の実施形態では、AR-OSTシールド606は、完全に透明であってもよいが、フレーム608はまた、ユーザーの網膜上に直接光をレンダリングする能力を含んでいてもよい。
【0057】
ストラップ614は、フレーム608を、BCI 616および複数の一体型EEG電極618を含むコンパートメント・アクセサリまたはモジュールと接続することができる。別の実施形態では、EEG電極618は、別個のEEG装置または他のセンサー装置の一部として構成されてもよい。BCI 616は、同様に、別個のコンピューティング装置として構成されてもよい。他のセンサー装置は、EEG信号を取得するために湿式電極（g.Scarabeo）とともに使用される、g.USBampおよびGammabox（オーストリアのg.tec Guger Technologies）を含みうる。AR-OST 604およびスマートデバイス612はそれぞれ、有線および無線接続を介して、互いに、ならびに追加のコンピューティング装置および感知装置に信号を送信および受信しうる。
【0058】
最後に、AR-OST 604のAR-OSTシールド606のシースルー特性のために、いくつかの実施形態では、モニター620がAR-OST BCI構成600に組み込まれてもよく、異なる画像が、前景特徴としてAR-OSTシールド606の内面に、背景特徴としてモニター620に表示されることを許容する。ある実施形態では、すべての画像は、AR-OSTシールド606の内側に表示されてもよく、別の実施形態では、AR-OSTシールド606内に表示される画像は、ユーザーの環境において可視である複数の現実世界のオブジェクトに重なってもよい。別の実施形態では、レンダリングされた刺激の選択が、AR-OST 604ウェアラブル装置の外部の環境において呈示される。これらの外部刺激は、空間内に固定されたサイン／標識／看板、広告または他の通知でありうる。
【0059】
図7のAおよびBは、ある実施形態による、AR-OST 700を用いたSSVEP BCI使用のための投影を示す。図6のAR-OST BCI構成600は、AR-OST 700を用いたSSVEP BCI使用のための投影を使用して、AR-OSTおよびBCIとのユーザーの対話を実行するために使用されうる。
【0060】
ある実施形態では、図7のAに示されるように、モニター・ディスプレイ702は、黒色画面等の前述の非アクティブ背景402を有していてもよい。基本SSVEPパターン202は、AR-OSTシールド・ディスプレイ704として示されてもよい。この基本SSVEPパターン202は、図6に関して説明したような、フレーム中のスマートデバイス・スロット内の定位置にあるスマートデバイスによって生成されうる。スマートデバイスは、SSVEP BCIシステムと対話するように設計されたアプリを備えていてもよく、または有線もしくは無線接続を通じて、基本SSVEPパターン202およびそのバリエーションを生成するように構成された追加のコンピューティング・デバイスとペアリングされてもよい。
【0061】
図7のBに示される代替実施形態では、モニター・ディスプレイ702は、図4のBに関して導入されたアクティブ背景404を有していてもよく、基本SSVEPパターン202およびそのバリエーションは、やはり、AR-OSTシールド・ディスプレイ704として示されてもよい。
【0062】
図8Aおよび図8Bは、ある実施形態による、AR-OST 800を用いたSSMVEP BCI使用のための投影を示す。図6のAR-OST BCI構成600は、AR-OST 800を用いたSSMVEP BCI使用のための投影を使用して、AR-OSTおよびBCIとのユーザーの対話を実行するために使用されうる。
【0063】
ある実施形態では、図8Aに示されるように、モニター・ディスプレイ802は、黒色画面等の前述の非アクティブ背景402を有していてもよい。基本SSMVEPパターン302は、AR-OSTシールド・ディスプレイ804として示されうる。この基本SSMVEP画像304は、図6に関して説明したようなフレーム内のスマートデバイス・スロット内の定位置にあるスマートデバイスによって生成されうる。スマートデバイスは、SSVEP BCIシステムと対話するように設計されたアプリを有していてもよく、または基本SSMVEP画像304およびそのバリエーションを生成するように構成された追加のコンピューティング・デバイスと有線または無線接続を通じてペアリングされてもよい。
【0064】
図8Bに示される代替実施形態では、モニター・ディスプレイ802は、図4Bに関して導入されたアクティブ背景404を有していてもよく、基本SSMVEPパターン302およびそのバリエーションは、やはり、AR-OSTシールド・ディスプレイ804として示されてもよい。
【0065】
図8Aおよび図8Bは、試験のための潜在的な制御された実験室セットアップを示すが、図8Cは、AR-OST 800を用いたSSMVEP BCI使用のための投影のための現実世界の使用事例を示す。AR-OST 604を装着しているユーザー602は、都市の通りに沿って歩道を歩くなど、ユーザーの環境808の中で現実世界において対話していることがありうる。この場合、AR-OSTシールド806を通したユーザー・ビューは、本明細書に開示されるようなAR-OST 604に統合されたまたは関連付けられた構成要素の作用によってユーザーの環境808の視覚的知覚と混合されたデジタル・グラフィカル要素として、基本SSMVEPパターン302を組み込んでもよい。
図9は、ある実施形態によるC-CNNプロセス900を示す。入力902は畳み込み904を通されてもよく、畳み込み904の結果は、バッチ正規化ReLU活性化ドロップアウト906ステップを通過してもよい。バッチ正規化ReLU活性化ドロップアウト906からのデータは、畳み込み908を通過することができる。畳み込み908の結果は、バッチ正規化ReLU活性化ドロップアウト910ステップを受けてもよく、最終的に、示されるような出力912を生成する。このようなC-CNNプロセス900は、正準コレクション解析（canonical correction analysis、CCA）および大きさスペクトルを入力として使用するCNNなどの従来の手法よりも高い精度を、非同期的に処理されたデータについて提供することができる。C-CNN法は、刺激検出のためにSSVEPおよびSSMVEPデータの両方に対してトレーニングされてもよい。
図9は、ある実施形態によるC-CNNプロセス900を示す。入力902は畳み込み904を通されてもよく、畳み込み904の結果は、バッチ正規化ReLU活性化ドロップアウト906ステップを通過してもよい。バッチ正規化ReLU活性化ドロップアウト906からのデータは、畳み込み908を通過することができる。畳み込み908の結果は、バッチ正規化ReLU活性化ドロップアウト910ステップを受けてもよく、最終的に、示されるような出力912を生成する。このようなC-CNNプロセス900は、正準コレクション解析（canonical correction analysis、CCA）および大きさスペクトルを入力として使用するCNNなどの従来の手法よりも高い精度を、非同期的に処理されたデータについて提供することができる。C-CNN法は、刺激検出のためにSSVEPおよびSSMVEPデータの両方に対してトレーニングされてもよい。
【0066】
C-CNNプロセス900は、固定ウィンドウ長（W=[1秒、2秒]）および0.1秒のステップ・サイズで非同期方式でBCIデータを処理することができる。2秒より長いウィンドウ長は、リアルタイムで適用されるとき、全体的なBCIシステムの速度にかなり影響を及ぼす可能性がある。C-CNNは、C-CNNへの入力として提供される高速フーリエ変換（FFT）信号の実数部および虚数部の連結に基づいてもよい。ある実施形態では、セグメント化されたEEGデータの複素FFTは、0.2930Hzの分解能で計算されてもよい。次に、実周波数成分および虚周波数成分が各チャネルに沿って抽出され、I＝Re(X)||Im(X)のように単一の特徴ベクトルに連結されてもよい。結果として、各チャネルについての特徴ベクトルは、下方に重ねていって、Nch×Nfcの次元をもつ入力行列IC-CNNを形成してもよい。ここで、Nch＝3およびNfc＝220である。
【数1】
【0067】
C-CNNプロセス900は、ユーザー依存シナリオにおいてトレーニングされてもよく、分類器は、単一の参加者からのデータに対してトレーニングされ、同じ参加者のデータに対して試験される。前処理ステップは、C-CNNをトレーニングするためのトレーニング例の数を増加させるためのデータ増強戦略として提供されうる。トレーニング・フォールドと検証フォールドとの間に重複するサンプルが存在しないようにして、分類器の性能を評価するために、8フォールド階層化交差検証（eight-fold stratified cross-validation）が実行されてもよい。これは、1試行を外す交差検証（leave one-trial out cross-validation）と同等である。W＝1秒の場合、各フォールドは、トレーニング集合および試験集合内にそれぞれ1456個および912個のセグメントを含むことができる。W＝2秒の場合、トレーニング集合および試験集合内にそれぞれ1176個および168個のセグメントがありうる。さらに、C-CNNは、単一の参加者について、各刺激タイプ、背景タイプ、およびウィンドウ長について、個別にトレーニングされうる。トレーニング可能なパラメータの総数は5482であってもよい。
【0068】
ある実施形態では、C-CNNは、2.50GHzおよび8GBランダムアクセスメモリ（RAM）のIntel Core i5-7200中央処理装置（CPU）などのプロセッサおよびメモリ・システム上でトレーニングされうる。カテゴリカル・クロス・エントロピー損失（categorical cross-entropy loss）が、ネットワークをトレーニングするために使用されうる。ネットワークの最終的なパラメータは、諸参加者にわたって最高の分類精度を提供した値に基づいて選択されうる。ある実施形態では、選択されたパラメータは、α＝0.001、momentum＝0.9、D＝0.25、L＝0.0001、E＝50、およびB＝64であってもよく、ここで、αは学習レートであり、Dはドロップアウト・レートであり、LはL2正則化定数であり、Eはエポックの数であり、Bはバッチサイズであり、これらのパラメータは当技術分野でよく理解されている。
【0069】
別の実施形態では、分類プロセスは、ヒューリスティック、エキスパートシステム、トランスフォーマ、ロングショートタームメモリ（LSTM）、リカレントニューラルネットワーク（RNN）、CCA、または複数の時間依存入力信号を処理してクラスの事前定義された集合に入れるのに適した任意の他の分類アルゴリズムによって実行されうる。
【0070】
非アクティブ背景および1秒のウィンドウ長の下での非同期4クラスAR-SSVEP BCIについてのオフライン復号性能は、本明細書で説明するC-CNN方法を用いて82%±15%でありうる。AR-SSMVEP BCIが達成しうるオフライン復号性能は、C-CNN法を用いて、W＝1については非アクティブ背景（NB）：71.4%±22%およびアクティブ背景（AB）：63.5%±18%、W＝2については83.3%±27%（NB）および74.1%±22%（AB）でありうる。C-CNN手法を使用する非同期擬似オンラインSSMVEP BCIは、刺激の開始に精密に同期される必要がなくてもよい、高い復号性能を提供することができる。さらに、この手法は、背景条件の変化に対して堅牢でありうる。定常状態と遷移状態との間の性能の差が観察されてもよく、セグメンテーションおよびトレーニングの方法に帰されてもよい。遷移状態ウィンドウは、トレーニング・フェーズ中に分類器によって見られない場合があるので、これらの領域は、擬似オンライン試験フェーズにおいて誤分類される可能性がある。遷移状態中のウィンドウは、定常状態データと遷移状態データの混合を含むことがあり、そのようなウィンドウにラベル付けすることが困難になる。このシナリオは、オンライン・システムで発生する可能性のあるエラーによく似ている。1つの単純な解決策は、検出ウィンドウ長を増加させることでありうる。これは、エラーを低減し、全体的な性能を向上させうる。
【0071】
図10は、ある実施形態によるIC状態およびNC状態1000を示す。AR-OSTおよびBCIを装着し、それらと対話するユーザーの時間は、休止〔ブレーク〕期間1002、キュー期間1004、および刺激期間1006を含みうる。トレーニング、較正、または評価場面において、これらの期間は、所定の固定長の時間として設定されてもよい。たとえば、2秒のキュー期間1004が6秒の刺激期間1006に先行してもよい。キュー期間1004の間は、刺激期間1006の間にフォーカスされるべき刺激がハイライトされうる。刺激期間1006の間、その刺激は、所望の周波数で変調されうる。刺激が呈示されない4秒の休止期間が続いてもよい。
【0072】
AR-OSTおよびBCIとの非同期相互作用の間、装着者は、異なるタイミングをもってキュー期間1004および刺激期間1006を有してもよく、キュー期間1004を有しなくてもよく、特定の持続時間のないブレーク期間1002を有し、刺激呈示の確立された周期性がなくてもよい。刺激は、むしろ、ユーザーの環境において状況が生じるときに、またはユーザーがある使用モードを非同期的に呼び出すときに呈示されうる。
【0073】
ある実施形態では、BCIは、休止期間1002およびキュー期間1004がNC状態1010を構成すると想定することができる。刺激が呈示されない場合、ユーザーによって制御が意図されない可能性がある。刺激が刺激期間1006中に呈示されるとき、BCIは、ユーザーがIC状態1008に入ったと想定することができる。図1の判断ブロック112に関して説明したように、視線検出などのユーザー対話の他の側面を監視して、ユーザーが自分のAR体験の何らかの側面を制御することを意図していると判断することができる。
【0074】
NC状態1010ではなくIC状態1008の想定または検出に基づいてEEG信号の処理を洗練するために、C-CNNアーキテクチャーの最後のソフトマックス層は、第5のNCクラスを含むように修正されうる。これは、合計5つのニューロンをもたらしうる：4つのIC＝(C1,C2,C3,C4)状態と1つのNC＝C5状態である。畳み込み層およびカーネルは、4クラス・アーキテクチャーの場合と同じままでありうる。IC対NCの検出を評価するために、8フォールド交差検証スキームが使用されてもよい。ネットワークは、カテゴリカル・クロス・エントロピー損失を用いてトレーニングされうる。ネットワークの最終パラメータは、ある実施形態では、α＝0.001、momentum＝0.9、D＝0.25、L=0.0001、E＝80、およびB＝40として選択されてもよい。
【0075】
ある実施形態では、2クラス分類結果（IC対NC）が、5クラスC-CNNの結果から推定されうる。4つの標的刺激予測は、単一カテゴリーICクラスに組み合わせられてもよく、静止状態／NCは第2のクラスであってもよい。混乱行列（confusion matrix）から、真陽性（TP）は、IC状態の間に、ユーザーが標的を見ており、分類器がこのセグメントをIC状態として正しく予測するときに定義されてもよい。偽陽性（FP）は、真のラベルがNC状態であるときに分類器がセグメントをICとして予測するときに定義されうる。分類器がIC状態をNCとして誤分類した場合、これは偽陰性（FN）として定義されうる。次いで、F1スコアおよび偽活性化率（false activation rate、FAR）が次のように計算されうる。
【数2】
【0076】
実際的な用途では、IC/アクティブ状態を異なるアクティブ状態に分類することは、それを非アクティブ・クラスとして分類することよりも悪影響を及ぼす可能性がある。したがって、FARは、異なるIC状態内の誤分類率、すなわち、あるIC状態と別のIC状態との間の誤分類率として定義されてもよい。
が、5クラス分類の結果として得られる混乱行列であると考える。ここで、Nc＝4は、IC状態の数である。各クラスにおける試験例の数によってICを正規化した後、クラスごとのFAR（Fj）は、次のように定義されうる。
【数3】
【数4】
【0077】
最後に、すべての刺激周波数にわたる平均FARは、次式に従って計算することができる。
【数5】
【0078】
交差検証フォールドのうちの1つからのトレーニングされた5クラスC-CNNは、トレーニング・セッション全体に対して擬似オンライン方式で適用されうる。具体的には、これは、ICとNCとの間の遷移セグメントを含むデータのセグメントを含む連続的な復号シナリオにおいて適用されうる。このステップは、オンライン非同期BCIをエミュレートすることができる。
【0079】
図11A～図11Hは、例示的な構成を使用して試験された、非アクティブ背景（NB）およびアクティブ背景（AB）条件下でのSSVEPおよびSSMVEP刺激反応の平均振幅スペクトルを示す。図11Aは、SSVEP 8Hzの結果1100aを示す。図11Bは、SSMVEP 8Hzの結果1100bを示す。図11Cは、SSVEP 10Hzの結果1100cを示す。図11Dは、SSMVEP 10Hzの結果1100dを示す。図11Eは、SSVEP 12Hzの結果1100eを示す。図11Fは、SSMVEP 12Hzの結果1100fを示す。図11Gは、SSVEP 15Hzの結果1100gを示す。図11Hは、SSMVEP 15Hzの結果1100hを示す。
【0080】
各グラフの挿入図は、基本刺激周波数の拡大バージョンを示す。SSVEP 8Hzの結果1100aについて、NBピーク応答1102およびABピーク応答1104が示されている。SSMVEP 8Hzの結果1100bについて、NBピーク応答1106およびABピーク応答1108が示されている。SSVEP 10Hz結果1100cについて、NBピーク応答1110およびABピーク応答1112が示されている。SSMVEP 10Hzの結果1100dについて、NBピーク応答1114およびABピーク応答1116が示されている。SSVEP 12Hzの結果1100eについて、NBピーク応答1118およびABピーク応答1120が示されている。SSMVEP 12Hzの結果1100fについて、NBピーク応答1122およびABピーク応答1124が示されている。SSVEP 15Hzの結果1100gについて、NBピーク応答1126およびABピーク応答1128が示されている。SSMVEP 15Hzの結果1100hについて、NBピーク応答1130およびABピーク応答1132が示されている。
【0081】
2つの背景条件（NBおよびAB）下での4つの刺激周波数（8Hz、10Hz、12Hz、および15Hz）についてのSSVEPおよびSSMVEP応答の平均振幅スペクトルは、すべての参加者、試行、および電極チャネル（O1,Oz,O2）にわたって平均化されて、本明細書に示されるものなどの例示的な結果を達成することができる。各SSVEP刺激についての平均振幅スペクトルは、標的とされる基本刺激周波数およびその対応する高調波におけるピークを明確に示す。次に、各SSMVEP刺激について、標的とされる基本周波数における顕著なピークがすべての周波数について観察されてもよく、対応する高調波においては他の顕著な応答は観察されなかった。これらの結果は、提案された光学シースルーARシステムのために設計された視覚刺激が、所望のSSVEPおよびSSMVEP応答を誘発しうることを確証する。
【0082】
また、アクティブ背景の存在が、SSVEP刺激についての基本周波数および高調波における応答の振幅を低減しうることが観察されうる。各刺激周波数についてNBとABとの間で計算された振幅の差は、示されるように、それぞれ、0.3μV（8Hz）、0.86μV（10Hz）、0.44μV（12Hz）、および0.43μV（15Hz）でありうる。一方、SSMVEP刺激については、NBとABとの間の基本周波数の振幅の差は、それぞれ、0.05μV（8Hz）、0.19μV（10Hz）、0.13μV（12Hz）、および0.09μV（15Hz）でありうる。すべての刺激周波数についてのNBからABへの振幅の平均減少は、SSVEPおよびSSMVEP応答についてそれぞれ28.2%および8.3%でありうる。NB対ABのSSVEP刺激についての全参加者にわたる平均SNRは：8Hzで6.75対5.43、10Hzで8.15対5.9、12Hzで6.9対5.32、および15Hzで8.82対6.7でありうる（dB）。反対に、SSMVEP刺激についてのSNR値は：8Hzで5.65対5.32、10Hzで6.59対5.77、12Hzで6.11対6.09、15Hzで6.02対6.17でありうる（dB）。SSVEPおよびSSMVEPについてのすべての周波数にわたるNBとABとの間のSNRの平均低減は、それぞれ1.75dBおよび0.25dBであった。
【0083】
SSVEP刺激については、アクティブ背景は、すべての刺激周波数にわたって、非アクティブ背景よりも一貫して低いCCA係数をもたらしうる。対照的に、SSMVEP刺激については、CCA係数の大きさは、すべての刺激周波数にわたって2つの背景間で同様でありうる。これは、SSMVEP刺激の測定された知覚が、同様のSSVEP刺激の測定された知覚よりも、アクティブ背景の存在によって影響を受けにくいことを示しうる。両方の刺激タイプについて、15Hzの刺激に対する応答は、アクティブ背景の存在によって最も影響を受ける可能性がある。
【0084】
アクティブ背景に起因する振幅の減少の理由の1つは、背景における競合刺激の存在に帰することができる。以前の研究は、複数の明滅する視覚刺激が同じ視野に置かれるとき、それらは神経表現を求めて競合することを示している。これは、競合刺激の効果と呼ばれる。したがって、背景ビデオ内のさまざまな視覚要素が神経表現に干渉するか、または神経表現を求めて競合し、SSVEP刺激の全体的な堅牢性の低下につながる可能性がある。一方、アクティブ背景が導入された場合、SSMVEP刺激についての応答の大きさは減少しないことがある。これは、背景に競合する刺激が存在する場合であっても、SSMVEP刺激がより堅牢であることを示しうる。
【0085】
両方の刺激タイプについての応答の振幅の減少は、アクティブ背景の存在下での視覚および精神負荷の増加に帰することができる。明滅するSSVEP刺激によって誘発される精神的負荷は、SSMVEP刺激よりも高い可能性がある。したがって、SSMVEP刺激による注意要求の低減は、一般に、SSVEP刺激と比較して、SSMVEP刺激によるより高いパフォーマンスをもたらしうる。
【0086】
図12は、ある実施形態によるシステム1200を示す。システム1200は、センサー1206と、ユーザー1268によって装着されるウェアラブル生体信号感知デバイス1208とを備えてもよく、該ウェアラブル生体信号感知デバイスは、スマートデバイス1210およびBCI 1226が統合されていてもよく、またはそれらと密接に関連付けられてもよく、もしくはペアリングされてもよい。スマートデバイス1210は、コンテキスト・モジュール1212、ユーザー・アプリケーション1214、およびレンダリング・デバイス1220を含んでいてもよい。BCI 1226は、バイオセンサー1224、信号調整（conditioning）1228、意図的な制御信号の検出1230、および分類器1232を含むことができる。システム1200は、いくつかの実施形態では、クラウド・サーバー1250上に記憶され、それへの接続を通してアクセスされる、コンテキスト・マネージャ1252およびモデル修正プロセス1254を含んでいてもよい。
【0087】
センサー1206は、ウェアラブル生体信号感知デバイス1208およびスマートデバイス1210のいずれか、もしくは両方と統合されてもよく、またはいずれとも統合されなくてもよい。センサー1206はまた、ユーザー1268によって装着または携行される機器に装着または搭載されてもよい。ウェアラブル生体信号感知デバイス1208およびスマートデバイス1210に統合されたセンサーは、本明細書では内部センサー1260と呼ばれることがある。そのように統合されていないセンサーは、本明細書では外部センサー1262と呼ばれることがある。
【0088】
ある実施形態では、センサー1206は、周囲環境1202から環境刺激1204を受け取ることができる。これらのセンサー1206は、当技術分野でよく理解されているように、可視光、可視スペクトルを超える光、音、圧力、温度、環境内の物体の近接度、環境内の物体もしくはウェアラブル生体信号感知デバイス1208およびユーザー1268の加速度および動きの方向、または環境1202および環境1202内のアクションの他の側面を検出する内部センサー1260または外部センサー1262でありうる。
【0089】
ある実施形態では、センサー1206は、ユーザーの物理的状態およびアクション1266に関する情報を検出することもできる。たとえば、センサー1206は、カメラ、心拍数モニター、携帯型医療機器などの身体装着センサーである外部センサー1262であってもよい。これらのセンサー1206は、当技術分野でよく理解されているように、たとえば、視線検出、音声検出および認識、発汗検出および構成（composition）などを通じて、ユーザーの行動、動き、意図、および状態の諸側面を検出してもよい。センサー1206は、センサー・データ1264として出力を提供することができる。センサー・データ1264は、センサー1206を構成する内部センサー1260および外部センサー1262によって検出されるような、環境刺激1204ならびにユーザーの物理的状態およびアクション1266に関連付けられた情報を搬送しうる。
【0090】
いくつかの実施形態では、環境刺激データ1240を他のセンサー・データ1264から区別することが有用であることがあり、環境刺激データ1240は、別個のデータ信号ストリームの一部として送信されてもよく、必要に応じて、追加的または代替的な論理解析、処理、および使用を受けてもよい。他の実施形態では、環境刺激1204に応答して生成される環境データを含むセンサー・データ1264のすべての構成要素は、この点に関して区別されなくてもよく、単一のデータ信号ストリームの一部と見なされてもよい。
【0091】
ウェアラブル生体信号感知デバイス1208は、センサー1206と、スマートデバイス1210と、BCI 1226とを含みうる物理的アセンブリでありうる。ある実施形態では、ウェアラブル生体信号感知デバイス1208は、図6に関して説明されるようなAR-OST 604でありうる。スマートデバイス1210は、感知、表示、およびネットワーク機能を組み込むことができる。スマートデバイス1210は、ある実施形態では、AR-OST 604のスマートデバイス・スロット610内に保持されうるスマートフォンまたは小型のタブレットコンピュータでありうる。ある実施形態では、スマートデバイス1210は、Raspberry Piシングルボードコンピュータなどの埋め込みコンピュータであってもよい。ある実施形態において、スマートデバイス1210は、Qualcomm SnapDragon SoCなどのシステムオンチップ（SoC）であってもよい。いくつかの実施形態において、スマートデバイス1210は、ハードウェア資源およびユーザー・アプリケーションのライフサイクルを管理するように構成されたAndroidまたはiOSなどのオペレーティングシステムを有してもよい。
【0092】
スマートデバイス1210は、センサー1206、ウェアラブル生体信号感知デバイス1208、ユーザー生理部1222、およびBCI 1226の相互作用を通して、ARハンズフリー制御を含むように、ユーザー・アプリケーション1214とのユーザー対話を増強する目的で、コンテキスト・モジュール1212と通信する少なくとも1つのユーザー・アプリケーション1214を用いてさらに構成されうる。ユーザー・アプリケーション1214は、ユーザー対話に依存する、スマートデバイス上で実行されるアプリケーションであってよい。そのようなユーザー・アプリケーション1214は、仮想キーボードなどの仮想入力デバイス、Google MapsおよびWazeなどのヘッドアップ対話型マップ・インターフェース、AmazonのAlexaまたはAppleのSiri等の仮想アシスタント等を含んでいてもよい。
【0093】
ある実施形態では、他のコンテキスト・データ1218が、本明細書で開示される解決策にとって利用可能でありうる。他のコンテキスト・データ1218は、感知されるものではないデータ、すなわち、センサー1206からではなく、スマートデバイス1210とインターネットおよびスマートデバイス1210上で動作するユーザー・アプリケーション1214との対話を通じて取得されたデータを含みうる。たとえば、他のコンテキスト・データ1218は、スマートデバイスの内蔵型計時機能から検出された、またはインターネットから取得された日付および時刻、予定の特定の位置および時間を含む、カレンダー・アプリケーションからの予定、アプリケーション通知およびメッセージなどを含みうる。
【0094】
コンテキスト・モジュール1212は、スタンドアローンアプリケーションであってもよく、または他の市販のアプリケーション内にコンパイルされ、本明細書で開示される解決策をサポートするように構成されてもよい。コンテキスト・モジュール1212は、センサー1206（内部センサー1260および外部センサー1262のいずれかまたは両方）およびスマートデバイス1210から、環境刺激データ1240、センサー・データ1264、および他のコンテキスト・データ1218の任意の組み合わせを受領することができる。コンテキスト・モジュール1212に提供されるデータは、環境刺激データ1240、センサー・データ1264、他のコンテキスト・データ1218のうちの少なくとも1つを含むことができる。ある実施形態では、コンテキスト・モジュール1212に提供されるデータは、環境刺激データ1240を含む。ある実施形態では、コンテキスト・モジュール1212に提供されるデータは、センサー・データ1264を含む。ある実施形態では、コンテキスト・モジュール1212に提供されるデータは、他のコンテキスト・データ1218を含む。ある実施形態では、コンテキスト・モジュール1212に提供されるデータは、環境刺激データ1240およびセンサー・データ1264を含む。ある実施形態では、コンテキスト・モジュール1212に提供されるデータは、環境刺激データ1240および他のコンテキスト・データ1218を含む。ある実施形態では、コンテキスト・モジュール1212に提供されるデータは、センサー・データ1264および他のコンテキスト・データ1218を含む。ある実施形態では、コンテキスト・モジュール1212に提供されるデータは、環境刺激データ1240、センサー・データ1264、および他のコンテキスト・データ1218を含む。環境刺激データ1240、センサー・データ1264、および他のコンテキスト・データ1218は、環境データ、身体装着センサー・データ、接続された携帯型デバイス・データ、位置固有の接続されたデバイス・データ、およびネットワーク接続されたデバイス・データのうちの少なくとも1つを含みうる。
【0095】
コンテキスト・モジュール1212は、スマートデバイス1210上のユーザー・アプリケーション1214から一つまたは複数の要求された刺激データ1216を受領してもよい。これらの要求された刺激データ1216は、ユーザー・アプリケーション1214がいくつかのオプションの中からユーザーが選択する必要があることを示すことができる。コンテキスト・モジュール1212は、ウェアラブル生体信号感知デバイス1208もしくはスマートデバイス1210上に実装された内部センサー1260、スマートデバイス1210もしくはウェアラブル生体信号感知デバイス1208と通信する外部センサー1262、または他のコンテキスト・データ1218に含まれる非感知データからの、環境刺激データ1240、センサー・データ1264、および他のコンテキスト・データ1218のうちの少なくとも1つの受領から、デバイス・コンテキスト状態を決定するためのプロセスを含みうる。
【0096】
コンテキスト・モジュール1212は、環境刺激データ1240、センサー・データ1264、およびデバイス・コンテキスト状態を通知する他のコンテキスト・データ1218に少なくとも部分的に基づいて、ユーザー・アプリケーション1214からの要求された刺激データ1216の少なくとも一部を、修正された刺激1238に変換する能力をさらに組み込むことができる。コンテキスト・モジュール1212は、このようにして、ユーザー1268が、BCI対応ARインターフェースを使用して、要求された刺激データ1216によって示されるオプションの中から選択を行うことを可能にするために、ウェアラブル生体信号感知デバイス1208のユーザー1268に提供されうる修正された刺激1238を形成しうる。修正された刺激1238は、図3Aに関して導入されたSSMVEP刺激などの視覚アイコンを組み込むことができる。これらのSSMVEP刺激は、たとえば、ユーザーに呈示されるオプションと、ユーザーの注意を得るために競合しうる環境刺激1204との間の区別を改善するために、デバイス・コンテキスト状態に基づいてコンテキスト・モジュール1212によって修正されうる。よって、コンテキスト・モジュール1212が、環境刺激データ1240、センサー・データ1264、および他のコンテキスト・データ1218によって提供されるコンテキストを使用して生成しうる修正された刺激1238は、デフォルトSSMVEP刺激、他のデフォルト刺激、および要求された刺激データ1216が修正されずに達成することが可能でありうるよりも、ユーザー1268からのより容易に区別される応答を、ウェアラブル生体信号感知デバイス1208およびBCI 1226を通して誘起しうる。
【0097】
たとえば、環境刺激1204が、10Hzで挙動を示すデフォルト生成刺激を使用するのではなく、10Hz周波数で周期的挙動を示す環境刺激データ1240として検出された場合、コンテキスト・モジュール1212は、その10Hzデフォルト生成刺激を12Hzの周波数でその挙動を示すように変換することができる。それにより、10Hz挙動を示す環境刺激に対するユーザー注意が、ユーザー1268が同様の周波数で挙動するメニュー・オプションを凝視していると間違えられないようになる。環境刺激1204に基づく修正はまた、ユーザー選択のために呈示される刺激がユーザーの視野内のどこに位置するかを変更すること、誘発電位を聴覚または触覚刺激応答に変換すること、または環境刺激データ1240を通して検出される環境条件によって好都合にされる、もしくはスマートデバイス1210構成を通して利用可能なユーザー選好によって指定される他の修正を含みうる。
【0098】
スマートデバイス1210は、パッシブまたはアクティブ・レンダリング・デバイス1220機能を組み込むことができる。これは、修正された刺激1238ならびに環境刺激1204がユーザー1268に呈示されることを許容しうる。このレンダリング・デバイス1220は、環境刺激1204を修正された刺激1238と混合することができ、ユーザーの感覚系に呈示するためのレンダリングされた刺激1256をもたらし、ユーザー1268が環境1202の状態とユーザー・アプリケーション1214のユーザー・インターフェースを操作するのに不可分な選択との両方を知覚することを許容する。修正された刺激および環境刺激1204は、ユーザー1268によって感知される視覚デバイス、聴覚デバイス、および触覚デバイスのうちの少なくとも1つを使用してレンダリングされうる。ある実施形態では、レンダリング・デバイス1220の能力は、図6に関して説明されるような、透明な部分反射AR-OSTシールド606によって提供されうる。環境刺激1204は、ユーザーによって直接知覚されてもよく、視覚刺激は、AR-OSTシールド606を通して透過される光を通して伝達される。修正された刺激1238の視覚的側面は、表示のためにレンダリングされ、スマートデバイス・スロット610内に存在するスマートデバイス1210上に表示され、AR-OSTシールド606材料の部分反射特性に起因して反射されてユーザーの目に届きうる。別の実施形態では、ウェアラブル生体信号感知デバイス1208は、不透明ヘッドセットを組み込んでもよく、レンダリングされた刺激1256として修正された刺激1238と混合された環境刺激1204をユーザーに提供するために、カメラおよびビデオ投影等の感知および呈示ハードウェアに依拠してもよい。別の実施形態では、ウェアラブル生体信号感知デバイス1208は、修正された刺激1256の光学的通過およびレンダリングを可能にするために透明OLEDディスプレイを組み込むことができる。
【0099】
ユーザー1268に呈示されるレンダリングされた刺激1256は、ユーザー生理部1222を通じて応答を生成することができる。ユーザー生理部1222は、ユーザーの身体ならびに関連する末梢および中枢神経系を指しうる。視覚、聴覚、触覚、または他の刺激に対する、身体および特に神経系の反応によって表される人間の応答は、当技術分野ではよく理解されており、バイオセンサー1224を使用して検出されてもよい。バイオセンサー1224は、神経系活動を検出する、ユーザー1268の身体上に搭載される、および／またはBCI 1226内に組み込まれる、複数のセンサーであってもよい。これらのバイオセンサー1224は、当技術分野でよく理解されているように、EEG電極618、筋電図（EMG）電極、心電図（EKG）電極、他の心臓血管および呼吸モニター、血液酸素レベルおよびグルコースレベルモニター、ならびに他のバイオセンサー1224であってもよい。
【0100】
バイオセンサー1224は、出力として生体信号1236を提供することができる。生体信号1236は、バイオセンサー1224によって記録された生の信号である。生体信号1236は、バイオセンサー1224から受領されてもよく、少なくとも部分的にはレンダリングされた刺激1256に応答して生成されてもよい。生体信号1236は、ウェアラブル生体信号感知デバイス1208上で受領されうる。いくつかの実施形態では、生体信号1236は、信号調整1228を受けてもよい。信号調整1228は、生体信号1236の形の生データをフィルタリングおよびクリーニングするための方法を組み込むことができる。そのようなデータは、ノイズを除外するためにフィルタリングされてもよく、離散周波数レベルでエネルギーを検出するために高速フーリエ変換を受けてもよく、トレンド除去などの統計解析が適用されてもよく、または当技術分野で周知の他のデジタル信号処理アルゴリズムによって処理されてもよい。いくつかの実施形態では、BCI 1226の分類器1232は、信号調整1228を必要とすることなく、生の生体信号1236を受け入れることができてもよい。
【0101】
いくつかの実施形態では、BCI 1226は、意図的な制御信号検出1230を組み込むことができる。これは、図1の決定ブロック112に関して説明したプロセスと同様でありうる。意図的な制御信号検出1230は、ユーザーが一つまたは複数の修正された刺激1238を凝視することを意図しているかどうかを決定するための方法でありうる。ある実施形態では、意図的な制御信号検出1230は、少なくとも部分的に、受領された生体信号1236から、ユーザー1268がレンダリングされた刺激1256のうちの少なくとも1つを凝視することを意図していることを判定することによって、意図的な制御信号の存在を判定することができる。別の実施形態では、スマートデバイス1210のコンテキスト・モジュール1212は、手動意図オーバーライド1242信号を意図的制御信号検出1230に送ることができ、受領された生体信号1236にかかわらず、意図的制御信号検出1230がユーザー意図制御が存在すると想定してよいことを示す。
【0102】
意図的な制御信号が存在しない場合、意図的制御信号検出1230を用いる実施形態は、生のまたは調整された生体信号1236を分類器1232に送信することなく、生のまたは調整された生体信号1236およびコンテキスト・モジュール1212からの入力に基づいて、意図的な制御を監視し続けることができる。意図的な制御信号が検出されるとき、意図的制御信号検出1230は、生のまたは調整された生体信号1236を分類器1232に送ることができる。いくつかの実施形態では、意図的な制御信号検出1230は使用されなくてもよく、生のまたは調整された生体信号1236は、それぞれバイオセンサー1224または信号調整1228から分類器1232に直接送られてもよい。
【0103】
分類器1232は、生のまたは調整された生体信号1236を受領しうる。分類器1232はまた、予期されるユーザー1268応答の理解を通して分類を洗練するために、修正された刺激1238をコンテキスト・モジュール1212から受領してもよい。分類器1232は、修正された刺激1238に基づいて、受領された生体信号1236を分類し、分類された選択1248をもたらすように構成されうる。分類された選択1248は、修正された刺激1238および生体信号1236に基づいて、レンダリングされた刺激1256のうちのどれをユーザーが凝視しているかを示すことができる。
【0104】
分類器は、当技術分野で理解されているように、データ入力にクラス・ラベルを割り当てるために使用される機械学習アルゴリズムなど、入力データを特定のカテゴリーにマッピングするアルゴリズムである。一例は、「人」「木」「自動車」など、画像中に現れるオブジェクトに基づいて画像にラベル付けするようトレーニングされた画像認識分類器である。分類器のタイプは、たとえば、パーセプトロン、ナイーブベイズ、決定木、ロジスティック回帰、K最近傍、人工ニューラルネットワーク、深層学習、およびサポートベクターマシン、ならびにランダムフォレスト、バギング、およびアダブーストなどのアンサンブル法を含む。
【0105】
伝統的な分類技法は、機械学習アルゴリズムを使用して、単一試行時空間活性行列を、それらの行列の統計的特性に基づいて分類する。これらの方法は、2つの主要な構成要素、すなわち、効果的な次元削減のための特徴抽出機構と、分類アルゴリズムとに基づく。典型的な分類器は、他のテストデータがそれによって2つ以上のカテゴリーのうちの1つに分類されうるマッピング規則を学習するためにサンプル・データを使用する。分類器は、線形法と非線形法に大別することができる。ニューラルネットワーク、隠れマルコフモデルおよびk最近傍などの非線形分類器は、広範囲の関数を近似することができ、複雑なデータ構造の識別を許容する。非線形分類器は、複雑な弁別関数を捕捉する可能性を有するが、それらの複雑さはまた、過剰適合を引き起こし、重い計算要求を有し、そのためリアルタイム用途にあまり適さないものになりうる。
【0106】
一方、線形分類器は、それほど複雑ではなく、よって、データ過剰適合に対してより堅牢である。線形分類器は、線形に分離されうるデータに対して特に良好に機能する。フィッシャー線形判別（FLD）、線形サポートベクターマシン（SVM）およびロジスティック回帰（LR）は、線形分類器の例である。FLDは、2つのクラスのデータを分離可能な投影軸上にマッピングする、特徴の線形結合を見つける。分離の基準は、クラス内の分散に対するクラス平均間の距離の比として定義される。SVMは、2つのクラス間のマージンを最大化する分離超平面を見つける。LRは、その名前が示唆するように、データをロジスティック関数に投影する。
【0107】
機械学習ソフトウェアは、カスタムコンピュータコードであってもよく、分類における使用のために市販されていてもよく、または市販の機械学習のカスタマイズされたバージョンであってもよい。機械学習ソフトウェアの例は、IBM Machine Learning、Google Cloud AI Platform、Azure Machine Learning、およびAmazon Machine Learningを含む。
【0108】
分類器1232は、いくつかの実施形態では、図9に関して紹介されたようなC-CNNとして実装されうる。C-CNN、他のニューラルネットワーク、または他の機械学習アルゴリズムが、要求された刺激データ1216に関連する修正された刺激1238に対応するレンダリングされた刺激1256に対するユーザーの生理的応答に対応する生のまたは調整された生体信号1236内のパターンを認識するようにトレーニングされうる。分類器1232は、レンダリングされた刺激1256をユーザー・フォーカスを有するものとして分類してもよく、スマートデバイス1210による、いくつかの実施形態では特にスマートデバイス1210上のユーザー・アプリケーション1214によるさらなる処理1234のために、このフォーカスの指示を分類された選択1248として送ってもよい。さらなる処理1234は、分類器1232からの分類された選択1248を解析および／または利用するスマートデバイス1210および／またはユーザー・アプリケーション1214において行われる処理でありうる。
【0109】
ある実施形態では、ウェアラブル生体信号感知デバイス1208のスマートデバイス1210およびBCI 1226は、クラウド・サーバー1250、すなわち、ネットワーク接続されたコンピューティング資源と通信してもよい。クラウド・サーバー1250は、コンテキスト・マネージャ1252およびモデル修正プロセス1254への接続を提供することができる。コンテキスト・マネージャ1252は、ネットワーク接続を介して追加のコンテキスト情報を提供するクラウドベースのシステムであってもよい。コンテキスト・モジュール1212は、現在のデバイス・コンテキスト状態データと、他のデバイス・コンテキスト状態データ1244の要求とをコンテキスト・マネージャ1252に送りうる。コンテキスト・モジュール1212は、次いで、推奨されるデバイス・コンテキスト状態についての応答ならびに新しい刺激1246についての通知およびデータをコンテキスト・マネージャ1252から受領することができる。
【0110】
モデル修正プロセス1254もまた、クラウド・サーバー1250を通して利用可能でありうる。モデル修正プロセス1254は、オフラインで、すなわち、ウェアラブル生体信号感知デバイス1208、スマートデバイス1210、およびBCI 1226の構成要素の活動とは別に、非同期的に機能しうる。モデル修正プロセス1254は、たとえば、ウェアラブル生体信号感知デバイス1208が使用されていないときに、非リアルタイム更新を分類器1232に提供するサービスでありうる。モデル修正プロセス1254の使用の一つの実施形態が、図13に関してより詳細に説明される。
【0111】
図13は、ある実施形態による分類器モデル修正1300を示す。開示されるシステムでは、「モデル修正」は、生体信号データの分類を容易にするために使用されうる、任意のパラメータ・チューニング、ハイパーパラメータ最適化、強化学習、モデル・トレーニング、交差検証、または特徴エンジニアリング方法として定義される。分類器モデル修正1300は、コンテキスト・モジュール1212とともにスマートデバイス1210内に実装される機械学習モデル送信コントローラ1302、BCI 1226内に組み込まれるモデル修正プロセス1304能力、ならびにクラウド・サーバー1250内のモデル修正プロセス1254、BCI 1226上に記憶されるローカルデータレコード1306、およびクラウド・サーバー1250内に記憶されるデータレコード1308に加えて、図示されるようなシステム1200の要素を伴いうる。図13に示されていないシステム1200の要素は、説明を簡単にするために省略されているが、分類器モデル修正1300を実装するように構成されたシステム1200の実施形態に含まれうる。
【0112】
図12に関して説明したように、コンテキスト・モジュール1212は、現在のデバイス・コンテキスト状態データおよび他のデバイス・コンテキスト状態データ1244の要求をクラウド・サーバー1250内のコンテキスト・マネージャ1252に送ることができる。コンテキスト・モジュール1212は、次いで、推奨されるデバイス・コンテキスト状態についての応答ならびに新しい刺激1246についての通知およびデータをコンテキスト・マネージャ1252から受領することができる。コンテキスト・マネージャ1252は、分類器モデル修正1300において使用されるように、新しい状態データおよび更新された状態データ1320をクラウド・サーバー1250上のモデル修正プロセス1254に送信しうる。クラウド・サーバー1250はさらに、分類器1232から、BCI 1226上の要素から直接、またはスマートデバイス1210上で実行されるさらなる処理1234を通じて、分類器モデル修正1300において使用されるべき分類された選択1248を受領しうる。機械学習モデル1314は、少なくとも1つのモデル修正プロセス1254と、分類された選択1248ならびに新しい状態データおよび更新された状態データ1320のうちの少なくとも1つとを使用して更新されうる。
【0113】
クラウド・サーバー1250は、（新しい機械学習モデルおよび更新された機械学習モデル1322によって示されるように）更新されたまたは新しい機械学習モデルをスマートデバイスに送信することができる。更新された機械学習モデルは、スマートデバイス上の機械学習モデル送信コントローラ1302を使用して分類器に送信されうる。ある実施形態では、スマートデバイス1210上のコンテキスト・モジュール1212は、機械学習モデル送信コントローラ1302を使用してクラウド・サーバー1250に新しい機械学習モデルを要求することができる（新しいモデルの要求1310を参照）。スマートデバイス1210は、クラウド・サーバー1250から新しい機械学習モデルを受信してもよく（新しい機械学習モデルおよび更新された機械学習モデル1322を参照）、新しい機械学習モデルを分類器1232に送信してもよい。
【0114】
ある実施形態では、スマートデバイス1210のコンテキスト・モジュール1212は、新しいモデル1310の要求を機械学習モデル送信コントローラ1302に送ることができる。機械学習モデル送信コントローラ1302は、クラウド・サーバー1250内のモデル修正プロセス1254にモデル仕様および初期パラメータ1312を要求し、受信することができる。次いで、機械学習モデル送信コントローラ1302は、前述のように、分類器1232によって受領された生体信号1236を分類する際に使用するために、機械学習モデル1314を分類器1232に送ることができる。分類器1232は、さらなる処理1234のために、選択された予測された刺激および関連するメトリック1316を送ることができる。
【0115】
ある実施形態では、さらなる処理1234からのデータは、BCI 1226上のモデル修正プロセス1304モジュールに送られてもよく、BCI 1226が分類器1232によって実行される分類を改善することを許容する。ある実施形態では、分類器1232は、モデル修正プロセス1304の動作を通して形成された、より洗練されたまたは最適化されたモデルを機械学習モデル送信コントローラ1302に送り返してもよく、機械学習モデル送信コントローラ1302は、次いで、その更新されたモデルをクラウド・サーバー1250内のモデル修正プロセス1254に提供してもよい。
【0116】
ある実施形態では、さらなる処理1234からの生体信号データおよびモデル・パラメータ1318は、BCI 1226内に位置するモデル修正プロセス1304で使用するために、BCI 1226上のローカルデータレコード1306に送られてもよい。ローカルデータレコード1306は、オフデバイス記憶のためにクラウド・サーバー1250内のデータレコード1308にも送られてもよい。データレコード1308は、スマートデバイス1210および／またはウェアラブル生体信号感知デバイス1208のBCI 1226とは独立して非同期的に実行されるオフライン分類器モデル修正1300のためのモデル修正プロセス1254に利用可能でありうる。
【0117】
図14に示されるように、スマートデバイス1400は、汎用コンピューティング・デバイスの形で示されている。スマートデバイス1400の構成要素は、これに限定されるものではないが、一つまたは複数のプロセッサまたは処理ユニット1404と、システムメモリ1402と、システムメモリ1402を含むさまざまなシステムコンポーネントをプロセッサ処理ユニット1404に結合するバス1424とを含みうる。スマートデバイス1400は、カメラ、加速度計、マイクロフォンなどのセンサー1426と、スピーカー、振動または触覚アクチュエータなどのアクチュエータ1428とを含んでいてもよい。スマートデバイス1400は、スマートフォン、タブレット、または本明細書で説明される開示される解決策を実装するのに適した他のコンピューティング・デバイスであってもよい。
【0118】
バス1424は、メモリバスまたはメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、および多様なバスアーキテクチャーのいずれかを使用するプロセッサまたはローカルバスを含む、いくつかのタイプのバス構造のいずれかの一つまたは複数を表す。限定ではなく例として、そのようなアーキテクチャーは、I2C（Inter-Integrated Circuit）、SPI（Serial Peripheral Interface）、CAN（Controller Area Network）、ISA（Industry Standard Architecture）バス、MCA（Micro Channel Architecture）バス、EISA（Enhanced ISA）バス、VESA（Video Electronics Standards Association）ローカルバス、およびPCI（Peripheral Component Interconnect）バスを含む。
【0119】
スマートデバイス1400は、典型的には、多様なコンピュータシステム可読媒体を含む。そのような媒体は、スマートデバイス1400によってアクセス可能である任意の利用可能な媒体であってもよく、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体の両方を含む。
【0120】
システムメモリ1402は、ランダムアクセスメモリ（RAM）1406および／またはキャッシュメモリ1410などの揮発性メモリの形のコンピュータシステム可読媒体を含むことができる。スマートデバイス1400は、他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでいてもよい。例として、記憶システム1418は、非リムーバブルな不揮発性磁気媒体（図示せず、典型的には「ハードドライブ」と呼ばれる）から読み取り、それに書き込むために提供されうる。図示されていないが、フラッシュドライブ、リムーバブルな不揮発性磁気ディスク（たとえば、「フロッピー（登録商標）ディスク」）から読み出し、それに書き込むための磁気ディスクドライブ、およびCD-ROM、DVD-ROM、または他の光学式媒体などのリムーバブルな不揮発性光ディスクから読み出し、それに書き込むための光ディスクドライブが提供されてもよい。そのような事例では、それぞれは、一つまたは複数のデータ媒体インターフェースによってバス1424に接続されうる。以下でさらに示され説明されるように、システムメモリ1402は、開示された解決策の機能を実行するように構成された一組の（たとえば、少なくとも1つの）プログラムモジュールを有する少なくとも1つのプログラム・プロダクトを含みうる。
【0121】
一組の（たとえば、少なくとも1つの）プログラムモジュール1422を有するプログラム／ユーティリティ1420は、限定ではなく例として、オペレーティングシステム、一つまたは複数のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータと同様に、システムメモリ1402に記憶されうる。オペレーティングシステム、一つまたは複数のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータ、またはそれらの何らかの組み合わせのそれぞれは、ネットワーキング環境の実装を含むことができる。プログラムモジュール1422は、概して、本明細書で説明されるような開示された解決策の機能および／または方法を実行する。
【0122】
スマートデバイス1400はまた、キーボード、ポインティングデバイス、ディスプレイ1414等の一つまたは複数の外部デバイス1412；ユーザーがスマートデバイス1400と対話できるようにする一つまたは複数のデバイス；および／またはスマートデバイス1400が一つまたは複数の他のコンピューティング・デバイスと通信できるようにする任意のデバイス（たとえば、ネットワークカード、モデム等）と通信してもよい。そのような通信は、I/Oインターフェース1408を介して行われうる。I/Oインターフェース1408はまた、スマートデバイス1400のセンサー1426からの入力、ならびにアクチュエータ1428への出力を管理しうる。さらに、スマートデバイス1400は、ネットワークアダプター1416を介して、ローカルエリアネットワーク（LAN）、一般的なワイドエリアネットワーク（WAN）、および／または公共ネットワーク（たとえば、インターネット）などの一つまたは複数のネットワークと通信してもよい。図示されるように、ネットワークアダプター1416は、バス1424を介してスマートデバイス1400の他のコンポーネントと通信する。図示されていないが、他のハードウェアおよび／またはソフトウェア構成要素がスマートデバイス1400とともに使用されうることが当業者によって理解されるであろう。例は、マイクロコード、デバイス・ドライバ、冗長な処理ユニット、外部ディスク・ドライブ・アレイ、独立ディスクの冗長アレイ（RAID）システム、テープ・ドライブ、データ・アーカイバル記憶システムなどを含むが、これらに限定されない。
【0123】
ここで図15を参照すると、例示的なクラウド・コンピューティング・システム1500が示されている。「クラウド・コンピューティング」は、最小限の管理努力またはサービスプロバイダー対話で迅速にプロビジョニングおよび解放されうる構成可能なコンピューティング資源（たとえば、ネットワーク、サーバー、ストレージ、アプリケーション、およびサービス）の共有プールへの便利なオンデマンドネットワークアクセスを可能にするためのモデルを指す。このクラウドモデルは可用性を促進し、少なくとも5つの特性、少なくとも3つのサービスモデル、および少なくとも4つの展開モデルから構成される。商業的にホストされるクラウド・コンピューティング・システム1500の例は、Amazon Web Services（AWS）、Google Cloud、Microsoft Azureなどを含む。
【0124】
示されるように、クラウド・コンピューティング・システム1500は、たとえば、携帯情報端末（PDA）またはスマートデバイス1400、デスクトップコンピュータ1504、ラップトップ1502、および／またはウェアラブル生体信号感知デバイス1208 BCI 1226等のコンピューティング・デバイスが通信しうる、前述のコンテキスト・マネージャ1252、モデル修正プロセス1254、およびデータレコード1308を含む、一つまたは複数のクラウド・サーバーを備えてもよい。これは、各クライアントがそのような資源を別々に維持することを必要としないように、インフラストラクチャー、プラットフォーム、および／またはソフトウェアがクラウド・サーバー1250から（図14において上記で説明されるような）サービスとして提供されることを許容する。図15に示されるコンピューティング・デバイスのタイプは、単に例示的であることが意図され、クラウド・サーバー1250は、任意のタイプのネットワークおよび／またはネットワーク／アドレス指定可能接続を通じて（たとえば、ウェブブラウザを使用して）任意のタイプのコンピュータ化されたデバイスと通信しうることを理解されたい。
【0125】
本開示はクラウド・コンピューティングに関する詳細な説明を含むが、本明細書に記載される教示の実装はクラウド・コンピューティング環境に限定されないことを理解されたい。むしろ、本開示の実施形態は、現在知られているまたは後に開発される任意の他のタイプのコンピューティング環境と併せて実装されることが可能である。
【0126】
本開示はクラウド・コンピューティングに関する詳細な説明を含むが、本明細書に記載される教示の実装はクラウド・コンピューティング環境に限定されないことを理解されたい。むしろ、本開示の実施形態は、現在知られているまたは後に開発される任意の他のタイプのコンピューティング環境と併せて実装されることが可能である。
【0127】
クラウド・コンピューティングは、最小限の管理努力またはサービスのプロバイダーとの対話で迅速にプロビジョニングおよび解放されうる構成可能なコンピューティング資源（たとえば、ネットワーク、ネットワーク帯域幅、サーバー、処理、メモリ、ストレージ、アプリケーション、仮想マシンおよびサービス）の共有プールへの便利なオンデマンドネットワークアクセスを可能にするためのサービス送達のモデルを指す。このクラウドモデルは、少なくとも5つの特性、少なくとも3つのサービスモデル、および少なくとも4つの展開モデルを含みうる。
【0128】
特性は以下の通りである。
【0129】
オンデマンドセルフサービス：クラウド消費者は、サービスのプロバイダーとの人間の対話を必要とすることなく、必要に応じて自動的に、サーバー時間およびネットワークストレージなどのコンピューティング機能を一方的にプロビジョニングすることができる。
【0130】
幅広いネットワークアクセス：機能は、ネットワーク上で利用可能であり、不均一なシンまたはシッククライアントプラットフォーム（たとえば、携帯電話、ラップトップ、およびPDA）による使用を促進する標準的な機構を通してアクセスされる。
【0131】
資源プール：プロバイダーのコンピューティング資源は、マルチテナントモデルを使用して複数の消費者にサービス提供するためにプールされ、異なる物理資源および仮想資源が、需要に従って動的に割り当てられ、再割り当てされる。消費者は、一般に、提供される資源の厳密な位置に対する制御も知識ももたず、より高い抽象レベル（たとえば、国、州、またはデータセンター）で位置を指定することが可能でありうるという点で、位置独立性の感覚が存在する。
【0132】
迅速な弾力性：機能は、迅速にスケールアウトするために、場合によっては自動的に、迅速かつ弾力的にプロビジョニングされ、迅速にスケールインするために迅速に解放されうる。消費者にとって、プロビジョニングのために利用可能な機能は、しばしば無制限であるように見え、いつでも任意の量で購入されうる。
【0133】
測定されるサービス：クラウドシステムは、サービスのタイプ（たとえば、記憶、処理、帯域幅、およびアクティブなユーザーアカウント）に適切な何らかの抽象化レベルで計量（metering）機能を活用することによって、資源使用を自動的に制御および最適化する。資源使用は、監視され、制御され、報告され、利用されるサービスのプロバイダーおよび消費者の両方に透明性を提供することができる。
【0134】
サービスモデルは以下の通りである。
【0135】
サービスとしてのソフトウェア（Software as a Service、SaaS）：消費者に提供される機能は、クラウド・インフラストラクチャー上で実行されるプロバイダーのアプリケーションを使用することである。アプリケーションは、ウェブブラウザ（たとえば、ウェブベースの電子メール）等のシンクライアントインターフェースを通して、さまざまなクライアントデバイスからアクセス可能である。消費者は、限定されたユーザー固有のアプリケーション構成設定を考えられる例外として、ネットワーク、サーバー、オペレーティングシステム、ストレージ、または個々のアプリケーション機能さえも含む基礎となるクラウド・インフラストラクチャーを管理または制御しない。
【0136】
サービスとしてのプラットフォーム（Platform as a Service、PaaS）：消費者に提供される機能は、プロバイダーによってサポートされるプログラミング言語およびツールを使用して作成された消費者作成のまたは取得されたアプリケーションをクラウド・インフラストラクチャー上に展開することである。消費者は、ネットワーク、サーバー、オペレーティングシステム、またはストレージを含む基礎となるクラウド・インフラストラクチャーを管理または制御しないが、展開されたアプリケーションおよび可能性としてはアプリケーションホスティング環境構成に対する制御は有する。
【0137】
サービスとしてのインフラストラクチャー（Infrastructure as a Service、IaaS）：消費者に提供される機能は、処理、ストレージ、ネットワーク、および他の基本的なコンピューティング資源をプロビジョニングすることであり、消費者はそこで、オペレーティングシステムおよびアプリケーションを含みうる任意のソフトウェアを展開および実行することができる。消費者は、基礎となるクラウド・インフラストラクチャーを管理または制御しないが、オペレーティングシステム、ストレージ、展開されたアプリケーションに対する制御、および可能性としては選択されたネットワーキングコンポーネント（たとえば、ホストファイアウォール）の制限された制御を有する。
【0138】
展開モデルは以下の通りである。
【0139】
プライベート・クラウド：クラウド・インフラストラクチャーは、ある組織のためだけに運用される。それは、その組織またはサードパーティーによって管理されてもよく、オンプレミスまたはオフプレミスで存在してもよい。
【0140】
コミュニティクラウド：クラウド・インフラストラクチャーは、いくつかの組織によって共有され、関心事（たとえば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス考慮事項）を共有する特定のコミュニティをサポートする。それは、それらの組織またはサードパーティーによって管理されてもよく、オンプレミスまたはオフプレミスで存在してもよい。
【0141】
パブリッククラウド：クラウド・インフラストラクチャーは、一般大衆または大規模な産業グループに利用可能にされ、クラウドサービスを販売する組織によって所有される。
【0142】
ハイブリッドクラウド：クラウド・インフラストラクチャーは、独自のエンティティのままであるが、データおよびアプリケーションのポータビリティを可能にする標準化された技術または独自の技術（たとえば、クラウド間の負荷分散のためのクラウドバースティング）によって互いに結びつけられた2つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の複合体である。
【0143】
クラウド・コンピューティング環境は、サービス指向であり、ステートレス性、低結合性、モジュール性、およびセマンティック相互運用性に焦点を当てる。クラウド・コンピューティングの中心には、相互接続されたノードのネットワークを含むインフラストラクチャーがある。
【0144】
ここで図16を参照すると、図15に示されるようなクラウド・コンピューティング・システム1500によって提供されるクラウド・コンピューティング機能抽象化層1600のセットが示されている。図16に示される構成要素、層、および機能は、単に例示的であることが意図されており、本開示がそれらに限定されないことは、当業者によって理解されるであろう。図示されるように、以下の層および対応する機能が提供される。
【0145】
ハードウェアおよびソフトウェア層1602は、ハードウェアコンポーネントおよびソフトウェアコンポーネントを含む。ハードウェアコンポーネントの例は、メインフレーム、縮小命令セットコンピュータ（RISC）アーキテクチャーベースのサーバー、サーバー、ブレードサーバー、ストレージデバイス、ならびにネットワークおよびネットワーキングコンポーネントを含む。ソフトウェアコンポーネントの例は、ネットワークアプリケーションサーバーソフトウェアおよびデータベースソフトウェアを含む。
【0146】
仮想化層1604は、そこから以下の例示的な仮想エンティティが提供されうる抽象化層を提供する：仮想サーバー、仮想ストレージ、仮想プライベートネットワークを含む仮想ネットワーク、仮想アプリケーション、および仮想クライアント。
【0147】
管理層1606は、以下に説明する例示的な機能を提供する。資源プロビジョニングは、クラウド・コンピューティング環境内でタスクを実行するために利用されるコンピューティング資源および他の資源の動的な調達を提供する。計量および価格設定は、資源がクラウド・コンピューティング環境内で利用されるときのコスト追跡、およびこれらの資源の消費に対する課金またはインボイス発行を提供する。一例では、これらの資源は、アプリケーションソフトウェアライセンスを含むことができる。セキュリティは、ユーザーおよびタスクについての素性検証、ならびにデータおよび他の資源のための保護を提供する。ユーザーポータルは、ユーザーおよびシステム管理者の両方にクラウド・コンピューティング環境へのアクセスを提供する。サービスレベル管理は、必要とされるサービスレベルが満たされるように、クラウド・コンピューティング資源割り当ておよび管理を提供する。サービスレベル合意（Service Level Agreement：SLA）立案および充足は、SLAに従って将来の必要性が予想されるクラウド・コンピューティング資源の事前手配および調達を提供する。
【0148】
ワークロード層1608は、クラウド・コンピューティング環境が利用される機能を提供する。この層から提供されうるワークロードおよび機能の例は、マッピングおよびナビゲーション、ソフトウェア開発およびライフサイクル管理、仮想教室教育配信、データ解析処理、トランザクション処理、ならびに資源クレジット管理を含む。上述のように、図16に関して説明された前述の例のすべては、単なる例示であり、本開示は、これらの例に限定されない。
図面の要素の一覧
100 SSMVEP BCIを使用するためのプロセス
102 SSMVEPに生成された刺激
104 環境刺激
106 ブロック
108 ブロック
110 ブロック
112 判断ブロック
114 ブロック
116 判断ブロック
118 ブロック
200 例示的なSSVEPパターンおよびバリエーション
202 基本SSVEPパターン
204 SSVEP画像オン
206 SSVEP画像オフ
300 例示的なSSMVEPパターンおよびバリエーション
302 基本SSMVEPパターン
304 基本SSMVEP画像
306 異なるパターン密度を有するSSMVEP画像
308 異なるサイズのSSMVEP画像
310 回転されたSSMVEP画像
400 SSVEP BCL対話のための両眼投影
402 非アクティブ背景
404 アクティブ背景
500 SSMVEP BCI対話のための両眼投影
600 AR-OST BCI構成
602 ユーザー
604 AR-OST
606 AR-OSTシールド
608 フレーム
610 スマートデバイス・スロット
612 スマートデバイス
614 ストラップ
616 BCI
618 EEG電極
620 モニター
700 AR-OSTを用いたSSVEP BCI使用のための投影
702 モニター・ディスプレイ
704 AR-OSTシールド・ディスプレイ
800 AR-OSTを用いたSSMVEP BCI使用のための投影
802 モニター・ディスプレイ
804 AR-OSTシールド・ディスプレイ
806 AR-OSTシールドを通したユーザー・ビュー
808 ユーザーの環境
900 C-CNNプロセス
902 入力
904 畳み込み
906 バッチ正規化ReLU活性化ドロップアウト
908 畳み込み
910 バッチ正規化ReLU活性化ドロップアウト
912 出力
1000 IC状態およびNC状態
1002 休止期間
1004 キュー期間
1006 刺激期間
1008 IC状態
1010 NC状態
1100a SSVEP 8Hzの結果
1100b SSMVEP 8Hzの結果
1100c SSVEP 10Hzの結果
1100d SSMVEP 10Hzの結果
1100e SSVEP 12Hzの結果
1100f SSMVEP 12Hzの結果
1100g SSVEP 15Hzの結果
1100h SSMVEP 15Hzの結果
1102 NBピーク応答
1104 ABピーク応答
1106 NBピーク応答
1108 ABピーク応答
1110 NBピーク応答
1112 ABピーク応答
1114 NBピーク応答
1116 ABピーク応答
1118 NBピーク応答
1120 ABピーク応答
1122 NBピーク応答
1124 ABピーク応答
1126 NBピーク応答
1128 ABピーク応答
1130 NBピーク応答
1132 ABピーク応答
1200 システム
1202 環境
1204 環境刺激
1206 センサー
1208 ウェアラブル生体信号検知装置
1210 スマートデバイス
1212 コンテキスト・モジュール
1214 ユーザー・アプリケーション
1216 要求される刺激データ
1218 他のコンテキスト・データ
1220 レンダリング・デバイス
1222 ユーザー生理部
1224 バイオセンサー
1226 BCI
1228 信号調整
1230 意図的な制御信号検出
1232 分類器
1234 さらなる処理
1236 生体信号
1238 修正された刺激
1240 環境刺激データ
1242 手動意図オーバーライド
1244 現在のデバイス・コンテキスト状態データおよび他のデバイス・コンテキスト状態データの要求
1246 推奨されるデバイス・コンテキスト状態についての応答ならびに新しい刺激についての通知およびデータ
1248 分類された選択
1250 クラウド・サーバー
1252 コンテキスト・マネージャ
1254 モデル修正プロセス
1256 レンダリングされた刺激
1258 ユーザー物理応答
1260 内部センサー
1262 外部センサー
1264 センサー・データ
1266 ユーザーの物理的状態および動作
1268 ユーザー
1300 分類器モデル修正
1302 機械学習モデル送信コントローラ
1304 モデル修正処理
1306 ローカルデータレコード
1308 データレコード
1310 新しいモデルの要求
1312 モデル仕様および初期パラメータを要求し、受領
1314 機械学習モデル
1316 選択された予測された刺激および関連付けられたメトリック
1318 生体信号データおよびモデル・パラメータ
1320 新しい状態データおよび更新された状態データ
1322 新しい機械学習モデルおよび更新された機械学習モデル
1400 スマートデバイス
1402 システムメモリ
1404 処理ユニット
1406 ランダムアクセスメモリ（RAM）
1408 I/Oインターフェース
1410 キャッシュメモリ
1412 外部デバイス
1414 ディスプレイ
1416 ネットワークアダプター
1418 ストレージシステム
1420 プログラム／ユーティリティ
1422 プログラムモジュール
1424 バス
1426 センサー
1428 アクチュエータ
1500 クラウド・コンピューティング・システム
1502 ラップトップ
1504 デスクトップコンピュータ
1600 クラウド・コンピューティング機能抽象化層
1602 ハードウェアおよびソフトウェア層
1604 仮想化層
1606 管理層
1608 ワークロード層
図面の要素の一覧
100 SSMVEP BCIを使用するためのプロセス
102 SSMVEPに生成された刺激
104 環境刺激
106 ブロック
108 ブロック
110 ブロック
112 判断ブロック
114 ブロック
116 判断ブロック
118 ブロック
200 例示的なSSVEPパターンおよびバリエーション
202 基本SSVEPパターン
204 SSVEP画像オン
206 SSVEP画像オフ
300 例示的なSSMVEPパターンおよびバリエーション
302 基本SSMVEPパターン
304 基本SSMVEP画像
306 異なるパターン密度を有するSSMVEP画像
308 異なるサイズのSSMVEP画像
310 回転されたSSMVEP画像
400 SSVEP BCL対話のための両眼投影
402 非アクティブ背景
404 アクティブ背景
500 SSMVEP BCI対話のための両眼投影
600 AR-OST BCI構成
602 ユーザー
604 AR-OST
606 AR-OSTシールド
608 フレーム
610 スマートデバイス・スロット
612 スマートデバイス
614 ストラップ
616 BCI
618 EEG電極
620 モニター
700 AR-OSTを用いたSSVEP BCI使用のための投影
702 モニター・ディスプレイ
704 AR-OSTシールド・ディスプレイ
800 AR-OSTを用いたSSMVEP BCI使用のための投影
802 モニター・ディスプレイ
804 AR-OSTシールド・ディスプレイ
806 AR-OSTシールドを通したユーザー・ビュー
808 ユーザーの環境
900 C-CNNプロセス
902 入力
904 畳み込み
906 バッチ正規化ReLU活性化ドロップアウト
908 畳み込み
910 バッチ正規化ReLU活性化ドロップアウト
912 出力
1000 IC状態およびNC状態
1002 休止期間
1004 キュー期間
1006 刺激期間
1008 IC状態
1010 NC状態
1100a SSVEP 8Hzの結果
1100b SSMVEP 8Hzの結果
1100c SSVEP 10Hzの結果
1100d SSMVEP 10Hzの結果
1100e SSVEP 12Hzの結果
1100f SSMVEP 12Hzの結果
1100g SSVEP 15Hzの結果
1100h SSMVEP 15Hzの結果
1102 NBピーク応答
1104 ABピーク応答
1106 NBピーク応答
1108 ABピーク応答
1110 NBピーク応答
1112 ABピーク応答
1114 NBピーク応答
1116 ABピーク応答
1118 NBピーク応答
1120 ABピーク応答
1122 NBピーク応答
1124 ABピーク応答
1126 NBピーク応答
1128 ABピーク応答
1130 NBピーク応答
1132 ABピーク応答
1200 システム
1202 環境
1204 環境刺激
1206 センサー
1208 ウェアラブル生体信号検知装置
1210 スマートデバイス
1212 コンテキスト・モジュール
1214 ユーザー・アプリケーション
1216 要求される刺激データ
1218 他のコンテキスト・データ
1220 レンダリング・デバイス
1222 ユーザー生理部
1224 バイオセンサー
1226 BCI
1228 信号調整
1230 意図的な制御信号検出
1232 分類器
1234 さらなる処理
1236 生体信号
1238 修正された刺激
1240 環境刺激データ
1242 手動意図オーバーライド
1244 現在のデバイス・コンテキスト状態データおよび他のデバイス・コンテキスト状態データの要求
1246 推奨されるデバイス・コンテキスト状態についての応答ならびに新しい刺激についての通知およびデータ
1248 分類された選択
1250 クラウド・サーバー
1252 コンテキスト・マネージャ
1254 モデル修正プロセス
1256 レンダリングされた刺激
1258 ユーザー物理応答
1260 内部センサー
1262 外部センサー
1264 センサー・データ
1266 ユーザーの物理的状態および動作
1268 ユーザー
1300 分類器モデル修正
1302 機械学習モデル送信コントローラ
1304 モデル修正処理
1306 ローカルデータレコード
1308 データレコード
1310 新しいモデルの要求
1312 モデル仕様および初期パラメータを要求し、受領
1314 機械学習モデル
1316 選択された予測された刺激および関連付けられたメトリック
1318 生体信号データおよびモデル・パラメータ
1320 新しい状態データおよび更新された状態データ
1322 新しい機械学習モデルおよび更新された機械学習モデル
1400 スマートデバイス
1402 システムメモリ
1404 処理ユニット
1406 ランダムアクセスメモリ（RAM）
1408 I/Oインターフェース
1410 キャッシュメモリ
1412 外部デバイス
1414 ディスプレイ
1416 ネットワークアダプター
1418 ストレージシステム
1420 プログラム／ユーティリティ
1422 プログラムモジュール
1424 バス
1426 センサー
1428 アクチュエータ
1500 クラウド・コンピューティング・システム
1502 ラップトップ
1504 デスクトップコンピュータ
1600 クラウド・コンピューティング機能抽象化層
1602 ハードウェアおよびソフトウェア層
1604 仮想化層
1606 管理層
1608 ワークロード層
【0149】
本明細書で説明されるさまざまな機能動作は、前記動作または機能を反映する名詞または名詞句を使用して言及される論理で実装されうる。たとえば、関連付け動作は、「関連付け器」または「相関器」によって実行されうる。同様に、スイッチングは「スイッチ」によって、選択は「セレクタ」によって実行されてもよい、などとなる。
【0150】
本開示内では、異なるエンティティ（「ユニット」、「回路」、他の構成要素などとさまざまに呼ばれうる）は、一つまたは複数のタスクまたは動作を実行するように「構成される」ものとして説明または特許請求されうる。この表現――[一つまたは複数のタスクを実行する]ように構成された[エンティティ]――は、本明細書では構造（すなわち、電子回路などの何らかの物理的なもの）を指すために使用される。より具体的には、この定式化は、この構造が動作中に前記一つまたは複数のタスクを実行するように手配されていることを示すために使用される。構造は、その構造が現在動作していない場合であっても、何らかのタスクを実行する「ように構成されている」と言うことができる。「クレジットを複数のプロセッサコアに分配するように構成されたクレジット分配回路」は、たとえば、問題の集積回路が現在使用されていない（たとえば、電源がそれに接続されていない）場合であっても、動作中にこの機能を実行する回路を有する集積回路をカバーするように意図されている。よって、何らかのタスクを実行する「ように構成される」と記載または説明されるエンティティは、そのタスクを実装するために実行可能なプログラム命令を記憶するデバイス、回路、メモリなど、何らかの物理的なものを指す。この句は、本明細書では、無形のものを指すために使用されない。
【0151】
「～するように構成されている」という用語は、「～するように構成可能である」ことを意味することは意図されていない。たとえば、プログラムされていないフィールドプログラマブルゲートアレイ（FPGA）は、何らかの特定の機能を実行する「ように構成されている」とはみなされないが、プログラミング後にその機能を実行する「ように構成可能」であってもよい。
【0152】
添付の特許請求の範囲において、構造が一つまたは複数のタスクを実行する「ように構成されている」と記載することは、その請求項要素について米国特許法第112条（f）を行使しないことが明示的に意図されている。よって、[機能を実行する]「ための手段」を別様に含まない本願の請求項は、米国特許法第112条（f）の下で解釈されるべきではない。
【0153】
本明細書で使用される場合、「に基づく」という用語は、決定に影響を及ぼす一つまたは複数の要因を説明するために使用される。この用語は、追加の要因が決定に影響を及ぼす可能性を排除するものではない。すなわち、決定は、指定された要因のみに基づいてもよく、または指定された要因ならびに他の指定されていない要因に基づいてもよい。「Bに基づいてAを決定する」という句を考える。この句は、Bが、Aを決定するために使用される、またはAの決定に影響を及ぼす要因であることを指定する。この句は、Aの決定がCなどの何らかの他の要因にも基づきうることを排除するものではない。この句はまた、AがBのみに基づいて決定される実施形態を包含するように意図される。本明細書で使用される場合、「～に基づく」という句は、「少なくとも部分的には～に基づく」という句と同義である。
【0154】
本明細書中で使用される場合、句「に応答して」は、効果をトリガーする一つまたは複数の要因を記載する。この句は、追加の要因が効果に影響を及ぼすか、そうでなければ効果をトリガーしうる可能性を排除するものではない。すなわち、効果は、単にそれらの要因に応答してもよく、または指定された要因ならびに他の指定されていない要因に応答してもよい。「Bに応答してAを実行する」という句を考える。この句は、BがAの実行をトリガーする要因であることを指定する。この句は、Aを実行することがCなどの何らかの他の要因にも応答しうることを排除するものではない。この句はまた、AがBのみに応答して実行される実施形態を包含することを意図している。
【0155】
本明細書で使用される場合、「第1」、「第2」などの用語は、その後にくる名詞のラベルとして使用され、別段の定めがない限り、いかなるタイプの順序付け（たとえば、空間的、時間的、論理的など）も含意しない。たとえば、8つのレジスタを有するレジスタファイルでは、「第1のレジスタ」および「第2のレジスタ」という用語は、8つのレジスタのうちの任意の2つを指すために使用されうるのであって、たとえば論理レジスタ0および1だけではない。
【0156】
特許請求の範囲で使用される場合、「または」という用語は、排他的離接としてではなく、包含的離接として使用される。たとえば、「x、y、またはzのうちの少なくとも1つ」という句は、x、y、およびzのうちのいずれか1つ、ならびにそれらの任意の組み合わせを意味する。
【0157】
このように例示的な実施形態を詳細に説明してきたが、特許請求される開示された解決策の範囲から逸脱することなく、修正および変形が可能であることは明らかであろう。開示される主題の範囲は、図示される実施形態に限定されず、むしろ以下の特許請求の範囲に記載される。
【0158】
本明細書で使用される用語は、関連技術分野におけるそれらの通常の意味、または文脈におけるそれらの使用によって示される意味を与えられるべきであるが、明確な定義が提供される場合、その意味が支配する。
【0159】
本明細書では、「1つの実施形態」または「ある実施形態」への言及は、必ずしも同じ実施形態を指すわけではないが、そうであってもよい。文脈が別途明確に要求しない限り、本稿および特許請求の範囲を通して、「備える」、「備えている」などの語は、排他的または網羅的な意味ではなく、包含的な意味で、すなわち、「含むが、それに限定されない」という意味で解釈されるべきである。単数または複数を使用する単語は、単数または複数に明確に限定されない限り、それぞれ複数または単数をも含む。加えて、「本明細書において」、「上記」、「下記」という単語、および類似の意味の単語は、本願において使用される場合、本願のいずれかの特定の部分ではなく、本願全体を指す。特許請求の範囲が、2つ以上の項目のリストに関して「または」という語を使用する場合、その語は、一方または他方に明示的に限定されない限り、その語の以下の解釈、すなわち、リスト内の項目のいずれか、リスト内の項目のすべて、およびリスト内の項目の任意の組み合わせのすべてをカバーする。本明細書において明示的に定義されていない任意の用語は、当業者によって一般的に理解されるそれらの通常の意味を有する。
【0160】
開示される主題は、その適用において、以下の説明に記載されるか、または図面に示される構成の詳細および構成要素の配置に限定されないことを理解されたい。開示された主題は、他の実施形態が可能であり、さまざまな仕方で実施および実行されることが可能である。また、本明細書で使用される表現および用語は、説明のためのものであり、限定するものと見なされるべきではないことを理解されたい。
【0161】
よって、当業者は、本開示が基づく概念が、開示される主題のいくつかの目的を実行するための他の構造、システム、方法、および媒体を設計するための基礎として容易に利用されうることを理解するであろう。したがって、特許請求の範囲は、開示された主題の趣旨および範囲から逸脱しない限り、そのような等価な構成を含むものとみなされることが重要である。
【図1】
【図2A-2B】
【図3A-3D】
【図4A-4B】
【図5A-5B】
【図6】
【図7A-7B】
【図8A-8B】
【図8C】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図11D】
【図11E】
【図11F】
【図11G】
【図11H】
【図12】
【図13】
【図14】
【図15】
【図16】
【手続補正書】
【提出日】2023-02-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
スマートデバイス上のユーザー・アプリケーションから一つまたは複数の要求された刺激データを受領するステップと；センサー・データおよび他のコンテキスト・データのうちの少なくとも1つを受領するステップであって、前記センサー・データは周囲の環境からの環境刺激を含み、前記他のコンテキスト・データは感知されるものではないデータを含む、ステップと；
少なくとも部分的には前記センサー・データおよび前記他のコンテキスト・データのうちの少なくとも1つに基づいて、前記要求された刺激データの少なくとも一部を修正された刺激に変換するステップと；
前記修正された刺激および前記環境刺激を混合し、それによってレンダリングされた刺激をもたらすように構成されたレンダリング・デバイスを用いて、前記修正された刺激および前記環境刺激をユーザーに呈示するステップと；
ウェアラブル生体信号感知デバイス上で、前記レンダリングされた刺激に応答して生成された生体信号をユーザーから受領するステップと；
前記修正された刺激に基づいて、分類器を使用して、受領された生体信号を分類し、分類された選択をもたらすステップと；
前記分類された選択を前記ユーザー・アプリケーションに返すステップとを含む、
方法。
【請求項2】
前記生体信号をユーザーから受領した後に：意図的な制御信号の存在、および
前記意図的な制御信号の不在の少なくとも一方を使って、
前記受領された生体信号を前記分類器に送信するか否かを決定するステップであって、前記意図的な制御信号の存在の決定は：
前記スマートデバイスから手動意図オーバーライド信号を検出すること；
少なくとも部分的には前記受領された生体信号から、ユーザーが前記レンダリングされた刺激のうちの少なくとも1つを凝視することを意図していることを判別すること
の少なくとも一方を含む、ステップと；
前記意図的な制御信号が存在するという条件で、
前記受領された生体信号を前記分類器に送信するステップと；
前記意図的な制御信号が存在しないという条件で、
ユーザーから前記受領された生体信号を受領し続けるステップとをさらに含む、
請求項１に記載の方法。
【請求項3】
前記修正された刺激は、部分的には、前記センサー・データおよび前記他のコンテキスト・データのうちの少なくとも1つを使用してデバイス・コンテキスト状態を決定することに基づく、請求項１に記載の方法。
【請求項4】
前記修正された刺激および前記環境刺激をユーザーに呈示することは、ユーザーによって感知される視覚デバイス、触覚デバイス、および聴覚デバイスのうちの少なくとも1つを使用して、前記修正された刺激および前記環境刺激をレンダリングすることを含む、請求項１に記載の方法。
【請求項5】
前記修正された刺激は、定常状態運動視覚誘発電位刺激を含み、前記修正された刺激および前記環境刺激をユーザーに呈示することは、前記スマートデバイスに関連する拡張現実光学シースルー（AR-OST）デバイス上で前記修正された刺激および前記環境刺激をレンダリングすることを含む、請求項１に記載の方法。
【請求項6】
前記センサー・データおよび前記他のコンテキスト・データのうちの前記少なくとも1つは：環境データ、身体装着センサー・データ、接続された携帯デバイス・データ、位置固有の接続されたデバイス・データ、およびネットワーク接続されたデバイス・データ
のうちの少なくとも1つを含む、請求項１に記載の方法。
【請求項7】
クラウド・サーバーによって、前記分類器から前記分類された選択を受領するステップであって、前記クラウド・サーバーは：
コンテキスト・マネージャ；
前記分類器による前記受領された生体信号の分類を容易にするために前記スマートデバイスによって使用される機械学習モデル；および
前記機械学習モデルを修正するための少なくとも1つのモデル修正プロセスを含む、ステップと；
前記コンテキスト・マネージャによって、現在のコンテキスト状態データおよび他の状態データの要求のうちの少なくとも1つを受領するステップと；
前記少なくとも1つのモデル修正プロセスによって、前記コンテキスト・マネージャから新しい状態データおよび更新された状態データのうちの少なくとも1つを受領するステップと；
前記少なくとも1つのモデル修正プロセスと、前記分類された選択、前記新しい状態データ、および前記更新された状態データのうちの少なくとも1つとを使用して、前記機械学習モデルを更新するステップとをさらに含む、
請求項１に記載の方法。
【請求項8】
前記クラウド・サーバーから前記スマートデバイスに更新された機械学習モデルを送信するステップと；前記スマートデバイス上の機械学習モデル送信コントローラを使用して、前記更新された機械学習モデルを前記分類器に送信するステップとをさらに含む、
請求項７に記載の方法。
【請求項9】
前記スマートデバイス上のコンテキスト・モジュールによって、前記機械学習モデル送信コントローラを使用して、前記クラウド・サーバーに新しい機械学習モデルを要求するステップと；前記スマートデバイスによって、前記クラウド・サーバーから前記新しい機械学習モデルを受領するステップと；
前記新しい機械学習モデルを前記分類器に送信するステップとをさらに含む、
請求項８に記載の方法。
【請求項10】
クラウド・サーバー上のコンテキスト・マネージャをさらに備え、前記コンテキスト・マネージャは、追加的なコンテキスト情報を前記スマートデバイスに提供する、請求項１に記載の方法。
【請求項11】
スマートデバイスと；レンダリング・デバイスと；
ユーザー上のウェアラブル生体信号感知デバイスと；
プロセッサと；
命令を記憶しているメモリ
とを備えるシステムであって、前記命令は、前記プロセッサによって実行されると、当該システムを：
前記スマートデバイス上のユーザー・アプリケーションから一つまたは複数の要求された刺激データを受領するステップと；
センサー・データおよび他のコンテキスト・データのうちの少なくとも1つを受領するステップであって、前記センサー・データは周囲の環境からの環境刺激を含み、前記他のコンテキスト・データは感知されるものではないデータを含む、ステップと；
少なくとも部分的には前記センサー・データおよび前記他のコンテキスト・データのうちの少なくとも1つに基づいて、前記要求された刺激データの少なくとも一部を修正された刺激に変換するステップと；
前記修正された刺激および前記環境刺激を混合し、それによってレンダリングされた刺激をもたらすように構成された前記レンダリング・デバイスを用いて、前記修正された刺激および前記環境刺激をユーザーに呈示するステップと；
前記ウェアラブル生体信号感知デバイス上で、前記レンダリングされた刺激に応答して生成された生体信号をユーザーから受領するステップと；
前記修正された刺激に基づいて、分類器を使用して、受領された生体信号を分類し、分類された選択をもたらすステップと；
前記分類された選択を前記ユーザー・アプリケーションに返すステップとを実行するように構成するものである、
システム。
【請求項12】
前記命令はさらに、当該システムを、前記生体信号をユーザーから受領した後に：意図的な制御信号の存在、および
前記意図的な制御信号の不在の少なくとも一方を使って、
前記受領された生体信号を前記分類器に送信するか否かを決定するステップであって、前記意図的な制御信号の存在の決定は：
前記スマートデバイスから手動意図オーバーライド信号を検出すること；
少なくとも部分的には前記受領された生体信号から、ユーザーが前記レンダリングされた刺激のうちの少なくとも1つを凝視することを意図していることを判別すること
の少なくとも一方を含む、ステップと；
前記意図的な制御信号が存在するという条件で、
前記受領された生体信号を前記分類器に送信するステップと；
前記意図的な制御信号が存在しないという条件で、
ユーザーから前記受領された生体信号を受領し続けるステップとを実行するように構成するものである、
請求項１１に記載のシステム。
【請求項13】
前記修正された刺激は、部分的には、前記センサー・データおよび前記他のコンテキスト・データのうちの少なくとも1つを使用してデバイス・コンテキスト状態を決定することに基づく、請求項１１に記載のシステム。
【請求項14】
前記修正された刺激および前記環境刺激をユーザーに呈示することは、ユーザーによって感知される視覚デバイス、触覚デバイス、および聴覚デバイスのうちの少なくとも1つを使用して、前記修正された刺激および前記環境刺激をレンダリングすることを含む、請求項１１に記載のシステム。
【請求項15】
前記修正された刺激は、定常状態運動視覚誘発電位刺激を含み、前記修正された刺激および前記環境刺激をユーザーに呈示することは、前記スマートデバイスに関連する拡張現実光学シースルー（AR-OST）デバイス上で前記修正された刺激および前記環境刺激をレンダリングすることを含む、請求項１１に記載のシステム。
【請求項16】
前記センサー・データおよび前記他のコンテキスト・データのうちの前記少なくとも1つは：環境データ、身体装着センサー・データ、接続された携帯デバイス・データ、位置固有の接続されたデバイス・データ、およびネットワーク接続されたデバイス・データ
のうちの少なくとも1つを含む、請求項１１に記載のシステム。
【請求項17】
前記命令はさらに、当該システムを：クラウド・サーバーによって、前記分類器から前記分類された選択を受領するステップであって、
前記クラウド・サーバーは：
コンテキスト・マネージャ；
前記分類器による前記受領された生体信号の分類を容易にするために前記スマートデバイスによって使用される機械学習モデル；および
前記機械学習モデルを修正するための少なくとも1つのモデル修正プロセスを含む、ステップと；
前記コンテキスト・マネージャによって、現在のコンテキスト状態データおよび他の状態データの要求のうちの少なくとも1つを受領するステップと；
前記少なくとも1つのモデル修正プロセスによって、前記コンテキスト・マネージャから新しい状態データおよび更新された状態データのうちの少なくとも1つを受領するステップと；
前記少なくとも1つのモデル修正プロセスと、前記分類された選択、前記新しい状態データ、および前記更新された状態データのうちの少なくとも1つとを使用して、前記機械学習モデルを更新するステップとを実行するように構成するものである、
請求項１１に記載のシステム。
【請求項18】
前記命令はさらに、当該システムを：前記クラウド・サーバーによって前記スマートデバイスに更新された機械学習モデルを送信するステップと；
前記スマートデバイス上の機械学習モデル送信コントローラを使用して、前記更新された機械学習モデルを前記分類器に送信するステップとを実行するように構成するものである、
請求項１７に記載のシステム。
【請求項19】
前記命令はさらに、当該システムを：前記スマートデバイス上のコンテキスト・モジュールによって、前記機械学習モデル送信コントローラを使用して、前記クラウド・サーバーに新しい機械学習モデルを要求するステップと；
前記スマートデバイスによって、前記クラウド・サーバーから前記新しい機械学習モデルを受領するステップと；
前記新しい機械学習モデルを前記分類器に送信するステップとを実行するように構成するものである、
請求項１８に記載のシステム。
【請求項20】
スマートデバイス上のユーザー・アプリケーションから一つまたは複数の要求された刺激データを受領するステップと；センサー・データおよび他のコンテキスト・データのうちの少なくとも1つを受領するステップであって、前記センサー・データは周囲の環境からの環境刺激を含み、前記他のコンテキスト・データは、感知されるものではないデータを含む、ステップと；
少なくとも部分的には前記センサー・データおよび前記他のコンテキスト・データのうちの少なくとも1つに基づいて、前記要求された刺激データの少なくとも一部を修正された刺激に変換するステップであって、前記修正された刺激は、定常状態運動視覚誘発電位刺激を含む、ステップと；
前記修正された刺激と前記環境刺激とを混合し、それによりレンダリングされた刺激をもたらすように構成されたレンダリング・デバイスを用いて、前記修正された刺激および前記環境刺激をユーザーに呈示するステップであって、前記修正された刺激および前記環境刺激をユーザーに呈示することは：
ユーザーによって感知される視覚デバイス、触覚デバイス、および聴覚デバイスのうちの少なくとも1つを使用して前記修正された刺激および前記環境刺激をレンダリングすること；および
前記スマートデバイスに関連する拡張現実光学シースルー（AR-OST）デバイス上で前記修正された刺激および前記環境刺激をレンダリングすることのうちの少なくとも1つを含む、ステップと；
ウェアラブル生体信号感知デバイス上で、前記レンダリングされた刺激に応答して生成される、ユーザーからの生体信号を受領するステップと；
意図的な制御信号の存在；または
前記意図的な制御信号の不在
のうちの少なくとも1つを使用することによって、前記生体信号を分類器に送るかどうかを決定するステップであって、前記意図的な制御信号の存在の決定は：
前記スマートデバイスからの手動意図オーバーライド信号を検出すること、および
少なくとも部分的には、受領された生体信号から、ユーザーが前記レンダリングされた刺激のうちの少なくとも1つを凝視することを意図していることを決定することのうちの少なくとも1つを含む、ステップと；
前記意図的な制御信号が存在するという条件で：
前記受領された生体信号を前記分類器に送るステップと；
前記意図的な制御信号が存在しないという条件で：
ユーザーから前記受領された生体信号を受領し続けるステップと；
前記修正された刺激に基づいて前記分類器を使用して前記受領された生体信号を分類し、分類された選択をもたらすステップと；
分類された選択を前記ユーザー・アプリケーションに返すステップとを含む、
方法。
【国際調査報告】