(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-17
(54)【発明の名称】脳マシンインターフェースのための無線軟質頭皮電子機器及び仮想現実システム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240709BHJP
A61B 5/372 20210101ALI20240709BHJP
A61B 5/293 20210101ALI20240709BHJP
A61B 5/262 20210101ALI20240709BHJP
【FI】
G06F3/01 515
A61B5/372
A61B5/293
A61B5/262
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023573298
(86)(22)【出願日】2022-05-27
(85)【翻訳文提出日】2024-01-24
(86)【国際出願番号】 US2022031432
(87)【国際公開番号】W WO2022251696
(87)【国際公開日】2022-12-01
(32)【優先日】2021-05-27
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2022-02-18
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】505477235
【氏名又は名称】ジョージア テック リサーチ コーポレイション
(74)【代理人】
【識別番号】100106518
【氏名又は名称】松谷 道子
(74)【代理人】
【識別番号】100135703
【氏名又は名称】岡部 英隆
(72)【発明者】
【氏名】ヨ,ウンホン
(72)【発明者】
【氏名】マームード,ムサ
【テーマコード(参考)】
4C127
5E555
【Fターム(参考)】
4C127AA03
4C127DD01
4C127GG11
4C127LL08
5E555AA48
5E555BA38
5E555BB38
5E555BC04
5E555BE17
5E555CB70
5E555DA08
5E555EA27
5E555FA00
(57)【要約】
例えば、訓練されたニューラルネットワークを介して、運動画像(MI)脳信号の、又は定常状態視覚誘発電位(SSVEP)信号のリアルタイムで継続的な分類を実行することによって、脳マシンインターフェース(BMI)又は脳コンピュータインターフェース(BCI)のためのコマンドを作動させることができる例示的な無線軟質頭皮電子システム及び方法が、開示される。いくつかの実施形態では、例示的なシステムは、脳マシンインターフェースコントローラ用のEEG信号を取得することができるマイクロニードル電極を含む、薄型のポータブルシステムとして構成される。マイクロニードル電極は、例えば、EEG信号及び信号分類正確度を向上させるために、改善された接触表面積及び低減された電極インピーダンス密度を提供することができる軟質で知覚不能なゲルレス表皮貫通型マイクロニードル電極として構成され得る。マイクロニードル電極は、電極に近接して局所的に装着され得る軟質電子機器と更に統合されて、煩雑な配線を減らし、信号取得品質を改善し得る。
【特許請求の範囲】
【請求項1】
システムであって、
無線インターフェース回路に動作可能に接続されたアナログ-デジタル変換器回路に動作可能に接続された可撓性回路基板上に製造された可撓性表皮貫通型マイクロニードル電極のアレイを各々が備える薄型EEGセンサのセットと、
前記薄型EEGセンサのセットに動作可能に接続された脳マシンインターフェースと、を備え、前記脳マシンインターフェースが、
プロセッサと、
前記プロセッサに動作可能に接続されたメモリと、を備え、前記メモリが、その上に記憶された命令を有し、前記プロセッサによる前記命令の実行が、前記プロセッサに、
前記薄型EEGセンサから取得されたEEG信号を受信することと、
前記取得されたEEG信号から、訓練されたニューラルネットワークを介して、制御信号として脳信号を継続的に分類することと、
前記制御信号を仮想現実環境コントローラに出力して、対象によって視認される前記仮想現実環境コントローラによって生成されたVRシーン内でコマンドを作動させることと、を行わせる、システム。
【請求項2】
前記コマンドが、前記VRシーン内で四肢の動きのセットを引き起こし、前記訓練されたニューラルネットワークが、前記動きのセットのために前記脳信号を分類するように構成されている、請求項1に記載のシステム。
【請求項3】
前記薄型EEGセンサのセットが、延伸可能な可撓性コネクタのセットを介して前記脳マシンインターフェースに接続されている、請求項1又は2に記載のシステム。
【請求項4】
前記マイクロニードル電極が、拡大された接触表面積及び低減された電極インピーダンス密度を有する、請求項1~3のいずれか一項に記載のシステム。
【請求項5】
低弾性率エラストマーバンドを備えるウェアラブル軟質ヘッドセットを更に備える、請求項1~4のいずれか一項に記載のシステム。
【請求項6】
前記訓練されたニューラルネットワークが、空間畳み込みニューラルネットワークを含む、請求項1~5のいずれか一項に記載のシステム。
【請求項7】
前記薄型EEGセンサのセットが、運動画像のために頭皮に沿って設置される、請求項1~6のいずれか一項に記載のシステム。
【請求項8】
前記薄型EEGセンサのセットが、定常状態視覚誘発電位(SSVEP)測定のために前記頭皮に沿って設置される、請求項1~6のいずれか一項に記載のシステム。
【請求項9】
前記仮想現実環境コントローラが、リアルタイムテキストスペラインターフェースのために仮想シーン内にスプリットアイ非同期刺激(SEAS)を生成するように構成されている、請求項8に記載のシステム。
【請求項10】
前記プロセッサによる前記命令の前記実行が、前記プロセッサに、
前記取得されたEEG信号を、前記訓練されたニューラルネットワークの再訓練動作を実行するリモート又はクラウドコンピューティングデバイスに送信することと、
前記仮想現実環境コントローラのランタイム動作中に、前記リモート又はクラウドコンピューティングデバイスから、更新された訓練されたニューラルネットワークを受信することと、を更に行わせる、請求項1~9のいずれか一項に記載のシステム。
【請求項11】
前記アレイの複数の前記可撓性表皮貫通型マイクロニードル電極が各々、毛深い頭皮に装着されるように高さが少なくとも500μm(例えば、800μm)であり、約350μmのベース幅を有し、かつ約36mm
2の面積を有する、請求項1~10のいずれか一項に記載のシステム。
【請求項12】
方法であって、
ユーザの頭皮に設置された薄型EEGセンサのセットを提供することであって、前記薄型EEGセンサのセットが各々、無線インターフェース回路に動作可能に接続されたアナログ-デジタル変換器回路に動作可能に接続された可撓性回路基板上に製造された可撓性表皮貫通型マイクロニードル電極のアレイを備える、提供することと、
前記薄型EEGセンサのセットに動作可能に接続されたプロセッサ又は脳マシンインターフェースによって、前記薄型EEGセンサから取得されたEEG信号を受信することと、
前記プロセッサによって、前記取得されたEEG信号から、訓練されたニューラルネットワークを介して、制御信号として脳信号を継続的に分類することと、
前記プロセッサによって、前記制御信号を仮想現実環境コントローラに出力して、対象によって視認される前記仮想現実環境コントローラによって生成されたVRシーン内でコマンドを作動させることと、を含む、方法。
【請求項13】
前記薄型EEGセンサのセットが、導電性ゲル又はペーストなしで前記頭皮上に直接設置される、請求項12に記載の方法。
【請求項14】
前記薄型EEGセンサのセットが、i)前記頭皮上の頂点位置に設置された可撓性表皮貫通型マイクロニードル電極の基準アレイと、ii)運動画像測定のために第1の正面位置、第2の背面位置、及び4つの側面位置で低弾性率エラストマーバンドに取り外し可能に取り付けられた可撓性表皮貫通型マイクロニードル電極の6つのアレイと、を含む、請求項12又は13に記載の方法。
【請求項15】
前記薄型EEGセンサのセットが、i)前記頭皮上の背面位置に設置された可撓性表皮貫通型マイクロニードル電極の基準アレイと、ii)定常状態視覚誘発電位(SSVEP)測定のために前記頭皮の背面領域で低弾性率エラストマーバンドに取り外し可能に取り付けられた可撓性表皮貫通型マイクロニードル電極の4つのアレイと、を含む、請求項12又は13に記載の方法。
【請求項16】
前記プロセッサによって、前記取得されたEEG信号を、前記訓練されたニューラルネットワークの再訓練動作を実行するリモート又はクラウドコンピューティングデバイスに送信することと、
前記プロセッサによって、前記仮想現実環境コントローラのランタイム動作中に、前記リモート又はクラウドコンピューティングデバイスから、更新された訓練されたニューラルネットワークを受信することと、を更に含む、請求項12~15のいずれか一項に記載の方法。
【請求項17】
命令が記憶されている非一時的コンピュータ可読媒体であって、脳マシンインターフェースコントローラのプロセッサによる前記命令の実行が、前記プロセッサに、
ユーザの頭皮に設置された薄型EEGセンサのセットから取得されたEEG信号を受信することであって、前記薄型EEGセンサのセットが各々、無線インターフェース回路に動作可能に接続されたアナログ-デジタル変換器回路に動作可能に接続された可撓性回路基板上に製造された可撓性表皮貫通型マイクロニードル電極のアレイを備え、前記薄型EEGセンサのセットが、導電性ゲル又はペーストなしで前記頭皮上に直接設置される、受信することと、
前記取得されたEEG信号から、訓練されたニューラルネットワークを介して、制御信号として脳信号を継続的に分類することと、
前記制御信号を仮想現実環境コントローラに出力して、対象によって視認される前記仮想現実環境コントローラによって生成されたVRシーン内でコマンドを作動させることと、を行わせる、コンピュータ可読媒体。
【請求項18】
前記薄型EEGセンサのセットが、i)前記頭皮上の頂点位置に設置された可撓性表皮貫通型マイクロニードル電極の基準アレイと、ii)運動画像測定のために第1の正面位置、第2の背面位置、及び4つの側面位置で低弾性率エラストマーバンドに取り外し可能に取り付けられた可撓性表皮貫通型マイクロニードル電極の6つのアレイと、を含む、請求項17に記載のコンピュータ可読媒体。
【請求項19】
前記薄型EEGセンサのセットが、i)前記頭皮上の背面位置に設置された可撓性表皮貫通型マイクロニードル電極の基準アレイと、ii)定常状態視覚誘発電位(SSVEP)測定のために前記頭皮の背面領域で低弾性率エラストマーバンドに取り外し可能に取り付けられた可撓性表皮貫通型マイクロニードル電極の4つのアレイと、を含む、請求項17に記載のコンピュータ可読媒体。
【請求項20】
前記命令の前記実行が、前記プロセッサに、
前記取得されたEEG信号を、前記訓練されたニューラルネットワークの再訓練動作を実行するリモート又はクラウドコンピューティングデバイスに送信することと、
前記仮想現実環境コントローラのランタイム動作中に、前記リモート又はクラウドコンピューティングデバイスから、更新された訓練されたニューラルネットワークを受信することと、を更に行わせる、請求項17~19のいずれか一項に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
政府利益の声明
本発明は、米国国立衛生研究所によって授与された認可番号R21AG064309に基づく政府の支援を受けてなされた。政府は、本発明において特定の権利を有する。
【0002】
関連出願
本PCT出願は、2021年5月27日に出願された「WIRELESS SOFT SCALP ELECTRONICS AND VIRTUAL REALITY SYSTEM FOR MOTOR IMAGERY-BASED BRAIN-MACHINE INTERFACES」と題された米国仮特許出願第63/194,111号、及び2022年2月18日に出願された「VIRTUAL REALITY (VR)-ENABLED BRAIN -COMPUTER INTERFACES VIA WIRELESS SOFT BIOELECTRON ICS」と題された米国仮出願第63/311,628号の優先権及び利益を主張し、これらの各々は、その全体が、参照により本明細書に援用される。
【背景技術】
【0003】
運動画像脳波検査(MI)は、脳マシンインターフェースのためのメカニズムを提供するために、意識的に身体の動きの態様にアクセスすることによる身体の動きの精神的シミュレーションを指す。運動画像のための従来の脳波検査(EEG)は、典型的には、膨大なセットアップ時間を伴い、使い心地が悪い複数の有線電極及びゲルを有するヘアキャップを使用する。最新のEEG設計は、日常的なモバイルEEGモニタリングのための無線ウェアラブルEEGに向かう傾向にあるが、それにもかかわらず、それらの設計は、邪魔な性質のものであり、ノイズが発生しやすい脳信号検出に起因して低い情報スループットを提供し、かつ限定された記録チャネルを有する、剛性のかさばる回路及びゲルベースの皮膚接触電極を引き続き使用する。
【0004】
同様のEEGハードウェアは、特定の周波数の視覚刺激に対する自然な応答である脳信号である定常状態視覚誘発電位(SSVEP)の取得にも使用され得る。網膜が、例えば、3.5Hz~75Hzの範囲の視覚刺激によって興奮すると、脳は、視覚刺激と同じ(又はその倍数の)周波数で電気活動を生成することができる。
【0005】
脳マシンインターフェース(BMI)ハードウェア及びBMIアプリケーションの改善には利点がある。
【発明の概要】
【0006】
例えば、訓練されたニューラルネットワークを介して、運動画像(MI)脳信号の、又は定常状態視覚誘発電位(SSVEP)信号のリアルタイムで継続的な分類を実行することによって、脳マシンインターフェース(BMI)又は脳コンピュータインターフェース(BCI)のためのコマンドを作動させることができる例示的な無線軟質頭皮電子システム及び方法が、開示される。
【0007】
いくつかの実施形態では、例示的なシステムは、脳マシンインターフェースコントローラ用のEEG信号を取得することができるマイクロニードル電極を含む、薄型のポータブルシステムとして構成される。マイクロニードル電極は、例えば、EEG信号及び信号分類正確度を向上させるために、改善された接触表面積及び低減された電極インピーダンス密度を提供することができる、軟質で知覚不能なゲルレス表皮貫通型マイクロニードル電極として構成され得る。マイクロニードル電極は、電極に近接して局所的に装着され得る軟質電子機器と更に統合されて、煩雑な配線を減らし、かつ信号取得品質を改善することができる。
【0008】
例示的な無線軟質頭皮電子システム及び方法は、MI又はSSVEPアプリケーション内のユーザに明確で一貫したビジュアル及び瞬時のバイオフィードバックを提供するために、仮想現実(VR)/拡張現実(AR)環境コントローラを備えるVR又はAR訓練システムと組み合わせて動作し得る。いくつかの実施形態では、VR/AR環境コントローラは、取得及び分類されたEEG信号を使用して、MI訓練中にユーザへのフィードバックとしてユーザによって視認される運動画像(例えば、身体の動きの態様を実行することができる1つ以上の身体オブジェクト)に関連付けられたオブジェクトVR/ARシーンをレンダリングするコマンドを作動させることができる。VR/ARハードウェア及び脳マシンインターフェースハードウェアを使用して、定常状態視覚誘発電位の取得のための視覚刺激を提供及び取得することができる。VR/ARハードウェア及び関連付けられた訓練は、例えば、MI及びSSVEPアプリケーションにおいて、検出可能なEEG応答の変動を低減することができる。本明細書で報告される研究では、頭皮電子システム及び関連付けられた訓練は、運動画像アプリケーションに対して高い分類正確度(4つのクラスに対して93.22±1.33%)を提供し、仮想現実ゲームの無線リアルタイム制御を可能にすることが、観察された。
【0009】
一態様では、脳波ベースの(EEG)脳マシンインターフェースを含むシステムが、開示される。システムは、無線インターフェース回路に動作可能に接続されたアナログ-デジタル変換器回路に動作可能に接続された可撓性回路基板上に製造された可撓性表皮貫通型マイクロニードル電極のアレイを各々が備える薄型EEGセンサのセットと、薄型EEGセンサのセットに動作可能に接続された脳マシンインターフェースと、を含み、脳マシンインターフェースは、プロセッサと、プロセッサに動作可能に接続されたメモリとを備え、メモリには命令が記憶されており、プロセッサによる命令の実行が、プロセッサに、薄型EEGセンサから取得されたEEG信号を受信することと、取得されたEEG信号から、訓練されたニューラルネットワークを介して、制御信号として脳信号を継続的に分類することと、制御信号を仮想現実環境コントローラに出力して、対象によって視認される仮想現実環境コントローラによって生成されたVRシーン内でコマンドを(例えば、訓練のために)作動させることと、を実行させる。
【0010】
いくつかの実施形態では、コマンドは、VRシーン内の四肢の動きのセットを引き起こし、訓練されたニューラルネットワークは、動きのセットのために脳信号を分類するように構成される。
【0011】
いくつかの実施形態では、薄型EEGセンサのセットは、延伸可能な可撓性コネクタのセットを介して脳マシンインターフェースに接続される。
【0012】
いくつかの実施形態では、マイクロニードル電極は、拡大された接触表面積及び低減された電極インピーダンス密度を有する。
【0013】
いくつかの実施形態では、システムは、低弾性率エラストマーバンドを備えるウェアラブル軟質ヘッドセットを更に含む。
【0014】
いくつかの実施形態では、訓練されたニューラルネットワークは、空間畳み込みニューラルネットワークを含む。
【0015】
いくつかの実施形態では、薄型EEGセンサのセットは、運動画像のために頭皮に沿って設置される。
【0016】
いくつかの実施形態では、薄型EEGセンサのセットは、定常状態視覚誘発電位(SSVEP)測定のために頭皮に沿って設置される。
【0017】
いくつかの実施形態では、仮想現実環境コントローラは、リアルタイムテキストスペラインターフェースのために仮想シーン内にスプリットアイ非同期刺激(SEAS)を生成するように構成されている。
【0018】
いくつかの実施形態では、プロセッサによる命令の実行は、プロセッサに、取得されたEEG信号を、訓練されたニューラルネットワークの再訓練動作を実行するリモート又はクラウドコンピューティングデバイスに送信させることと、仮想現実環境コントローラのランタイム動作中に、リモート又はクラウドコンピューティングデバイスから更新された訓練されたニューラルネットワークを受信させることと、を更に行わせる。
【0019】
いくつかの実施形態では、アレイの複数の可撓性表皮貫通型マイクロニードル電極は各々、毛深い頭皮に装着されるように高さが少なくとも500μm(例えば、800μm)であり、約350μmのベース幅を有し、かつ約36mm2の面積を有する。
【0020】
別の態様では、方法が、開示される。方法は、ユーザの頭皮に設置された薄型EEGセンサのセットを提供することであって、薄型EEGセンサのセットが各々、無線インターフェース回路に動作可能に接続されたアナログ-デジタル変換器回路に動作可能に接続された可撓性回路基板上に製造された可撓性表皮貫通型マイクロニードル電極のアレイを含む、提供することと、薄型EEGセンサのセットに動作可能に接続されたプロセッサ又は脳マシンインターフェースによって、薄型EEGセンサから取得されたEEG信号を受信することと、プロセッサによって、取得されたEEG信号から、訓練されたニューラルネットワークを介して、制御信号として脳信号を継続的に分類することと、プロセッサによって、制御信号を仮想現実環境コントローラに出力して、対象によって視認される仮想現実環境コントローラによって生成されたVRシーン内で、コマンドを作動させることと、を含み得る。
【0021】
いくつかの実施形態では、薄型EEGセンサのセットは、導電性ゲル又はペーストなしで頭皮上に直接設置される。
【0022】
いくつかの実施形態では、薄型EEGセンサのセットは、i)頭皮上の頂点位置に設置された可撓性表皮貫通型マイクロニードル電極の基準アレイと、ii)運動画像測定のために第1の正面位置、第2の背面位置、及び4つの側面位置で低弾性率エラストマーバンドに取り外し可能に取り付けられた可撓性表皮貫通型マイクロニードル電極の6つのアレイと、を含む。
【0023】
いくつかの実施形態では、薄型EEGセンサのセットは、i)頭皮上の背面位置に設置された可撓性表皮貫通型マイクロニードル電極の基準アレイと、ii)定常状態視覚誘発電位(SSVEP)測定のために頭皮の背面領域で低弾性率エラストマーバンドに取り外し可能に取り付けられた可撓性表皮貫通型マイクロニードル電極の4つのアレイと、を含む。
【0024】
いくつかの実施形態では、方法は、プロセッサによって、取得されたEEG信号を、訓練されたニューラルネットワークの再訓練動作を実行するリモート又はクラウドコンピューティングデバイスに送信することと、プロセッサによって、仮想現実環境コントローラのランタイム動作中に、リモート又はクラウドコンピューティングデバイスから更新された訓練されたニューラルネットワークを受信することと、を更に含み得る。
【0025】
別の態様では、非一時的コンピュータ可読媒体が、開示される。A非一時的コンピュータ可読媒体は、その上に記憶された命令を有し得、脳マシンインターフェースコントローラのプロセッサによる命令の実行が、プロセッサに、ユーザの頭皮に設置された薄型EEGセンサのセットから取得されたEEG信号を受信することであって、薄型EEGセンサのセットが各々、無線インターフェース回路に動作可能に接続されたアナログ-デジタル変換器回路に動作可能に接続された可撓性回路基板上に製造された可撓性表皮貫通型マイクロニードル電極のアレイを含み、薄型EEGセンサのセットが、導電性ゲル又はペーストなしで頭皮上に直接設置される、受信することと、取得されたEEG信号から、訓練されたニューラルネットワークを介して、制御信号として脳信号を継続的に分類することと、制御信号を仮想現実環境コントローラに出力して、対象によって視認される仮想現実環境コントローラによって生成されたVRシーン内でコマンドを作動させることと、を行わせる。
【0026】
いくつかの実施形態では、薄型EEGセンサのセットは、i)頭皮上の頂点位置に設置された可撓性表皮貫通型マイクロニードル電極の基準アレイと、ii)運動画像測定のために第1の正面位置、第2の背面位置、及び4つの側面位置で低弾性率エラストマーバンドに取り外し可能に取り付けられた可撓性表皮貫通型マイクロニードル電極の6つのアレイと、を含む。
【0027】
いくつかの実施形態では、薄型EEGセンサのセットは、i)頭皮上の背面位置に設置された可撓性表皮貫通型マイクロニードル電極の基準アレイと、ii)定常状態視覚誘発電位(SSVEP)測定のために頭皮の背面領域で低弾性率エラストマーバンドに取り外し可能に取り付けられた可撓性表皮貫通型マイクロニードル電極の4つのアレイと、を含む。
【0028】
いくつかの実施形態では、命令の実行は、プロセッサに、取得されたEEG信号を、訓練されたニューラルネットワークの再訓練動作を実行するリモート又はクラウドコンピューティングデバイスに送信させることと、仮想現実環境コントローラのランタイム動作中に、リモート又はクラウドコンピューティングデバイスから更新された訓練されたニューラルネットワークを受信させることと、を更に行わせる。
【0029】
当業者は、以下に記載される図面が、例示のみを目的としていることを理解するであろう。
【図面の簡単な説明】
【0030】
【
図1】例示的な一実施形態による、例示的な脳波ベースの脳マシンインターフェースシステムを示す。
【
図2】例示的な一実施形態による、運動画像(MI)訓練又は動作のための薄型EEGセンサ式軟質頭皮電子デバイスとして構成された例示的なEEG脳マシンインターフェースシステムを示す。
【
図3A】例示的な一実施形態による、SSVEP訓練又は動作のための薄型EEGセンサ式軟質頭皮電子デバイスとして構成された例示的なEEG脳マシンインターフェースシステムの態様をそれぞれ示す。
【
図3B】例示的な一実施形態による、SSVEP訓練又は動作のための薄型EEGセンサ式軟質頭皮電子デバイスとして構成された例示的なEEG脳マシンインターフェースシステムの態様をそれぞれ示す。
【
図3C】例示的な一実施形態による、SSVEP訓練又は動作のための薄型EEGセンサ式軟質頭皮電子デバイスとして構成された例示的なEEG脳マシンインターフェースシステムの態様をそれぞれ示す。
【
図4A】例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを動作させる方法を示す。
【
図4B】例示的な一実施形態による、ランタイム動作中に例示的なEEG脳マシンインターフェースシステムを構成及び再構成するための動作の例示的な方法を示す。
【
図5A】例示的な実施形態による、例示的なEEG脳マシンインターフェースシステムの構成要素を製造する例示的な方法をそれぞれ示す。
【
図5B】例示的な実施形態による、例示的なEEG脳マシンインターフェースシステムの構成要素を製造する例示的な方法をそれぞれ示す。
【
図5C】例示的な実施形態による、例示的なEEG脳マシンインターフェースシステムの構成要素を製造する例示的な方法をそれぞれ示す。
【
図5D】例示的な実施形態による、例示的なEEG脳マシンインターフェースシステムの構成要素を製造する例示的な方法をそれぞれ示す。
【
図5E】例示的な実施形態による、例示的なEEG脳マシンインターフェースシステムの構成要素を製造する例示的な方法をそれぞれ示す。
【
図6A】例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを使用した、運動画像訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の態様をそれぞれ示す。
【
図6B】例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを使用した、運動画像訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の態様をそれぞれ示す。
【
図6C】例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを使用した、運動画像訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の態様をそれぞれ示す。
【
図6D】例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを使用した、運動画像訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の態様をそれぞれ示す。
【
図6E】例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを使用した、運動画像訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の態様をそれぞれ示す。
【
図7A】例示的な実施形態による、例示的なEEG脳マシンインターフェースシステムの構成要素の機械的特性評価結果を示す。
【
図7B】例示的な実施形態による、例示的なEEG脳マシンインターフェースシステムの構成要素の機械的特性評価結果を示す。
【
図8A】例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを使用した、SSVEP訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の態様をそれぞれ示す。
【
図8B】例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを使用した、SSVEP訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の態様をそれぞれ示す。
【
図8C】例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを使用した、SSVEP訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の態様をそれぞれ示す。
【
図8D】例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを使用した、SSVEP訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の態様をそれぞれ示す。
【
図8E】例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを使用した、SSVEP訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の態様をそれぞれ示す。
【
図8F】例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを使用した、SSVEP訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の態様をそれぞれ示す。
【
図8G】例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを使用した、SSVEP訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の態様をそれぞれ示す。
【発明を実施するための形態】
【0031】
様々な特許、特許出願、及び刊行物を含み得るいくつかの参考文献が、参考文献リストに引用され、本明細書に提供される開示において考察される。そのような参考文献の引用及び/又は考察は、開示される技術の説明を明確にするためにのみ提供され、そのような参考文献が、本明細書に記載され、開示される技術の任意の態様に対する「先行技術」であることを認めるものではない。表記上、[n]は、リスト内のn番目の参考文献に対応する。例えば、[1]は、リスト内の一番目の参考文献を指す。本明細書において引用され考察される全ての参考文献は、参照によりそれらの全体が、あたかも各参考文献が参照により個々に援用されたかと同程度に本明細書に援用される。
【0032】
例示的なシステム
図1は、例示的な一実施形態による、例示的な、脳波ベースの(EEG)脳マシンインターフェースシステム100(「EEG BMI」システム100)を示す。システム100は、各々が、可撓性回路基板108上に製造された可撓性表皮貫通型マイクロニードル電極106のアレイ104を備える、薄型EEGセンサ102(102a、102b、102c、102dとして示される)のセットを含む。
図1に示される例では、第1のEEGセンサ102aは、ニューラルネットワーク114(「空間CNN」114として示される)を介して、コンピューティングデバイス又はマシン116への制御信号を生成するように分類するBMI制御システム112とインターフェースする可撓性フロントエンド電子機器アセンブリ110に可撓性コネクタ109を介して接続される基準電極として示されている。コンピューティングデバイス又はマシン116は、VR/AR訓練システム118及び/又はマシンコンピュータシステム119を含み得る。次に、VR/AR訓練システム118及び/又はマシン/コンピュータシステム119は、VR/ARアプリケーション121を実行するように構成され得る。仮想現実アプリケーション121は、BMIレンダリング及びUIモジュール122と、ゲーム環境パラメータ124を含むモジュールとを含み得る。「VR/AR」という用語は、仮想現実システム、拡張現実システム、又はその両方を提供することができるシステムを指す。
【0033】
他のEEGセンサ(「センサアレイ」102b、102c、102dとして示される)は、ハードウェア又はソフトウェアを介して、基準センサ102aに関連して測定され、
図1の例では、基準EEGセンサアセンブリ102aを通して、可撓性ケーブル配線126を介して接続される。システム100は、2つ以上の基準センサアセンブリ(例えば、102a)を使用し得る。
【0034】
図1の例では、可撓性ケーブル配線126は、レーザー加工された延伸可能な可撓性の相互接続部128のセットを含む。相互接続部128は、相互接続部128が延伸されるか又は曲げられることを可能にする曲折又は蛇行パターン130に形成された導電体を有し得る。可撓性コネクタ109は、基準センサ102aの可撓性アセンブリを可撓性フロントエンド電子機器アセンブリ110に接続する。
【0035】
可撓性フロントエンド電子機器アセンブリ110は、可撓性ケーブル126を通して、ニードル電極102b 102c 102dのアレイ104に動作可能に接続されている1つ以上のアナログ-デジタル変換器132を含み得る。ADC132は、ニードル電極102aの基準アレイからの、及びセンサアレイ(例えば、102b、102c、102d)からのアナログ信号をデジタル信号に変換することができる。デジタル信号は、ネットワークインターフェース134によって、BMI制御システム112内のネットワークインターフェース135に送信され得る。更に、可撓性フロントエンド電子機器アセンブリ110は、エネルギー貯蔵装置138、ADC132、及びネットワークインターフェース134の動作を制御するように構成され得るコントローラ136を含むことができる。
【0036】
BMI制御システム112は、取得されたEEG信号から、訓練されたニューラルネットワークを介して、制御信号として脳信号を継続的に分類するように構成される。BMI制御システム112は、例えば、車両(例えば、電動車椅子)又はロボット義肢などを操作するために、制御信号をマシン119に提供することができる。
【0037】
BMI制御システム112は、訓練されたニューラルネットワーク114、ネットワークインターフェース135、コントローラ137、フィルタモジュール140、及びスケーリングモジュール142を含み得る。訓練されたニューラルネットワーク114は、取得されたEEG信号を分類して、コンピューティングデバイス又はマシン116への制御信号を生成するように構成される。
図1に示される例では、訓練されたニューラルネットワーク114は、空間CNNとして構成される。訓練されたニューラルネットワークは、例えば、本明細書に記載又は参照されるように、他のCNN及びAIシステムとして構成され得る。
【0038】
いくつかの実施形態では、BMI制御システム112は、ランタイム動作中に再構成されるように構成される。
図1に示される例では、BMI制御システムは、ニューラルネットワーク訓練システム146を有して構成されたクラウドシステム144に接続されて示されている。クラウドシステム144は、BMI制御システム112から取得されたEEG信号を受信し、ニューラルネットワーク114のローカルバージョンを再訓練するように構成される。ニューラルネットワーク訓練システム146は、再訓練されたニューラルネットワーク148が、以前のニューラルネットワーク114を改善しているかどうかを判定する。そのような判定が行われると、ニューラルネットワーク訓練システム146が、再訓練されたニューラルネットワーク148をBMI制御システム112に提供し、BMI制御システム112は、(例えば、そのコントローラ137を介して)ニューラルネットワーク114を更新されたバージョンに置き換える。
【0039】
分類のためのEEG信号を提供するために、BMI制御システム112は、通信して、可撓性フロントエンド電子機器アセンブリ110のネットワークインターフェース134から受信するためのネットワークインターフェース135を含む。フィルタモジュール140及びスケーリングモジュール142は、分類動作の前に、取得されたEEG信号を前処理するように構成される。いくつかの実施形態では、フィルタモジュール140は、例えば、バターワースバンドパスフィルタを使用して、取得されたEEGデータをフィルタリングするように構成され、スケーリングモジュール142は、例えば、線形アップスケーリングオペレータを使用して、フィルタリングされたEEGデータをアップスケールするように構成される。
【0040】
図1に示される例では、BMI制御システム112は、分類された制御信号を使用して、ユーザに表示されるVRシーン内でコマンドのセットを作動させることができるVR/AR環境コントローラ(図示せず)を備えるVR/AR訓練システム118で動作するように構成され得る。VR/AR環境は、VR/ARヘッドセット及びVR/ARソフトウェアを使用して実装され得る。VR/AR環境は、VR/ARヘッドセット内にVR/ARグラフィックスを表示するようにコンピューティングデバイスを構成するために、VRソフトウェア(例えば、Unity)とともに動作し得る。VR/ARヘッドセット(例えば、Samsung Gear VR)は、スマートフォンに接続され得る。例示的な一実装例では、VRソフトウェアは、MIの視覚化を容易にするために、手及び足、又は他の幾何学的オブジェクトの3Dモデル(Maya)をレンダリングし得る。
【0041】
この例示的な実装例を参照して説明されるアニメーションソフトウェア、VR/ARソフトウェア、VR/ARヘッドセット、及び様々なコンピューティングデバイスは全て、非限定的な例として意図されていること、及び本開示は、任意の好適なアニメーションソフトウェア、スマートフォン(又は他のコンピューティングデバイス)、VR(又はAR)ヘッドセット、及び/又は任意のAR若しくはVRソフトウェアパッケージを使用して実装され得ることを理解されたい。同様に、説明されるゲームは、非限定的な例であること、及び本開示の実施形態は、任意のコンピューティングデバイスからの出力を制御及び受信するために使用され得ることを理解されたい。
【0042】
コンピューティングデバイスは、コンピューティングデバイスの動作に必要な算術演算及び論理演算を実行する標準のプログラマブルプロセッサであってもよい処理ユニットを含み得る。複数のプロセッサが、使用されてもよい。本明細書で使用される場合、処理ユニット及びプロセッサは、例えば、以下に限定されないが、マイクロプロセッサ(MCU)、マイクロコントローラ、グラフィカル処理ユニット(GPU)、及び特定用途向け回路(ASIC)を含む、入力に対して機能を実行し、出力を作成するために、符号化された命令を実行する物理ハードウェアデバイスを指す。したがって、命令は、プロセッサによって実行されるように論じられ得る一方、命令は、同時に、連続的に、又はさもなければ1つ以上のプロセッサによって、実行され得る。コンピューティングデバイスはまた、コンピューティングデバイスの様々な構成要素間で情報を通信するためのバス又は他の通信機構を含み得る。
【0043】
上述の論理演算は、(1)コンピューティングシステム上で動作するコンピュータ実施動作若しくはプログラムモジュールのシーケンスとして、及び/又は(2)コンピューティングシステム内の相互接続されたマシン論理回路若しくは回路モジュールとして実装され得ることを理解されたい。実装例は、コンピューティングシステムの性能及び他の要件に依存する選択の問題である。したがって、本明細書に記載される論理演算は、ステート演算、動作、又はモジュールと様々に称される。これらの演算、動作、及び/又はモジュールは、ソフトウェア、ファームウェア、特殊目的のデジタル論理、ハードウェア、並びにそれらの任意の組み合わせで実装され得る。また、図に示され、本明細書に記載されるよりも多くの又は少ない動作が実行され得ることを理解されたい。これらの動作はまた、本明細書に記載の順序とは異なる順序で実行され得る。
【0044】
1つ以上のプログラムが、例えば、アプリケーションプログラミングインターフェース(API)、再利用可能な制御などの使用を通じて、ここに開示される主題に関連して説明されるプロセスを実装又は使用し得る。そのようなプログラムは、コンピュータシステムと通信するために、高レベルの手続き型又はオブジェクト指向型プログラミング言語で実装され得る。また一方、プログラムは、必要に応じて、アセンブリ言語又は機械言語で実装され得る。いずれにせよ、言語は、コンパイル又は解釈された言語であり得、ハードウェア実装と組み合わされ得る。
【0045】
例#2 運動画像ベースの脳マシンインターフェース
図2は、例示的な一実施形態による、VR/ARヘッドセット202(202aとして示される)とインターフェースする、運動画像(MI)訓練又は動作のための薄型EEGセンサ式軟質頭皮電子機器(SSE)デバイスとして構成された可撓性フロントエンド電子機器アセンブリ110(110aとして示される)を含む例示的なEEG BMIシステム100(100aとして示される)を示す。SSEデバイス110aは、ユーザの頭皮に沿って設置され得、(i)可撓性基板上の完全にポータブルな信号取得電子機器と、(ii)可撓性マイクロニードルアレイ104(104a、104b、104c、104d、104e、及び104fとして示される)のセットに接続する延伸可能なインターコネクタ128とを含む。
【0046】
軟質頭皮電子システム110aは、頭部着用型ストラップ206を介して脳信号を継続的に記録することによって、持続的BMIのためのMI脳信号検出用に構成され得る。SSEシステム110aは、取得されたEEC信号を、無線接続を介して(又は有線接続を介して)外部コンピューティングデバイスに提供するように構成され、外部コンピューティングデバイスは、次に、取得されたEEG信号を、例えば、MIアプリケーションのための、又は没入型視覚化訓練のための信号として分類する。
【0047】
図2に示される例では、BMIシステム100aは、分類性能を犠牲にすることなく、例えば、従来のEEGアプリケーションと比較して、簡単にセットアップできてセットアップ使用の複雑さを低減する、低減された数のEEG電極を含む。
【0048】
一態様では、
図2に示される例では、SSEシステム110aは、可撓性マイクロニードル電極(FMNE)(例えば、104)に接合された、統合された延伸可能なインターコネクタ128のアレイを含む。軟質頭皮電子システム110aは、高い機械的コンプライアンスを有するように、可撓性膜回路を使用して製造され得る。可撓性膜回路は、電子チップ(例えば、フロントエンド取得IC及びネットワークインターフェースIC)と一体化され、機械的コンプライアンスを維持するためにカプセル化され得る。
【0049】
図2に示される例では、FMNEのアレイ(例えば、104)の各々は、例えば2超(例えば、350μmのベース幅で高さ800μm)の高アスペクト比のニードルのセットを含む。他のニードルのベース対高さ比、例えば、1、1.1、1.2、1.3、1.4、1.5、1.6、1.7、1.8、1.9、2.0を用いてもよい。いくつかの実施形態では、ニードルのベース対高さ比は、2超であり得る。
【0050】
図2に示される例では、軟質頭皮電子システム110aは、ウェアラブルヘッドストラップ206に取り付けられるか又は固定されており、ウェアラブルヘッドストラップ206は、ユーザの頭皮上のMI位置で複数のFMNEを固定するために、一緒に成形され得る低弾性率エラストマーバンドのセット208と統合され得る。一次バンド206は、側頭葉上に5つのFMNEを固定するために(基準FMNE104a(「Cz」)、第1の軸方向FMNE104b(「C2」)、第2の軸方向FMNE104c(「C3」)、第3の軸方向FMNE104d(「C4」)、及び軸方向の第4のFMNE104e(「C5」))、軸平面210の周りでユーザの頭部を包み込むことができる。一次バンド208は、可撓性相互接続部を介して、イニオンFMNE104f(「Fz」)及びナジオンFMNE104g(「POz」)に接続し、基準電極アレイに関するEEC測定の6チャネルを提供する。同じものの概略図をプロット212に示す。プロット212はまた、20以上の電極を有する標準的なEEGキャップに関連してFMNEを示す。一次バンド208はまた、耳の後ろに設置されるように構成されている接地電極214に接続される。7個、8個、9個、10個、11個、12個などを含む他の数の電極アレイが、使用されてもよい。いくつかの実施形態では、電極アレイの数は、12超であり得る。
【0051】
電極アレイ(例えば、104)は、軟質頭皮電子システム110aのADCフロントエンド回路(132aとして示されるADC132を含む)に接続される。軟質頭皮電子システムは、取得されたEEC信号をBMI制御システム112(「タブレット」112aとして示される)に通信することができるネットワークインターフェース134(「Bluetoothコントローラ」134aとして示される)を含む。
図2に示される例では、BMI制御システム112aは、EEG記録機械学習分類アルゴリズム114(「畳み込みニューラルネットワーク」114aとして示される)からのシーケンスを処理して、VR/ARシステム環境内のVR/ARターゲットを制御するための制御信号として使用され得るMI分類を生成するように構成される。マシンコンピュータシステム120aは、フィルタ動作140(140aとして示される)及び再スケーリング動作142(142aとして示される)を含む。マシンコンピュータシステム112aは、例えば、別個の手及び両足に関するイベント関連の同期及び脱同期を最適にキャプチャするように、並びに全体的なアルファリズム活動をキャプチャするように構成される。MLモデルは、運動皮質の複数の双極源からの空間的特徴を分解することができる。分類の出力は、コマンド220として、VRターゲット222として示されるターゲットに送信され得る。
【0052】
例#3 SSVEPベースの脳マシンインターフェース
図3Aは、例示的な一実施形態による、VR/ARヘッドセット202(202bとして示される)とインターフェースする、SSVEP訓練又は動作のための薄型EEGセンサ式軟質頭皮電子(SSE)デバイスとして構成された可撓性フロントエンド電子機器アセンブリ110(110bとして示される)を含む例示的なEEG BMIシステム100(100bとして示される)を示す。SSEデバイス110bはまた、ユーザの頭皮に沿って設置され得、(i)可撓性基板上の完全にポータブルな信号取得電子機器と、(ii)可撓性マイクロニードルアレイ104(104’、例えば、104a’、104b’、104c’、104d’、104e’として示される、
図3B参照)のセットに接続する延伸可能なインターコネクタ128とを含む。
【0053】
脳信号記録のスループットを改善するために、
図3Aに示される例では、EEG BMIシステム100bを使用して、スプリットアイ非同期刺激(SEAS)アプリケーションを介して、各眼に提示されている異なる眼特異的刺激からSSVEP信号を取得する。別個の眼刺激が、より多くの符号化されたチャネルを提供して脳信号記録のスループットを改善することができるユニークな非同期刺激パターンを生成し得る。EEG BMIシステム100bを使用して、例えば、テキストスペリングのために、30チャネルを超えるポータブルBCI用の定常状態視覚誘発電位(SSVEP)のリアルタイムモニタリングを提供することができる。
図3Aに示される例では、ユーザインターフェースパネル302は、テキスト要素304とともに、例えば、VR/AR環境内に提示され、テキスト要素304(強調表示された部分)は、異なる定常状態点滅刺激パターンを含む。すなわち、各テキスト要素304(32個の要素)は、固有の定常状態点滅刺激で符号化され得る。SEASでは、定常状態点滅刺激パターンは、現在、左側及び右側ディスプレイ(それぞれ308及び310として示される)で異なり得る。
【0054】
図3Cは、例示的な刺激周波数(312)及びターゲット(「ターゲットテキスト」314として示される)を示す。
図3Cに示される例では、刺激周波数312は、両方の眼で同じ周波数(316及び318として示される行「1」及び「3」)又は左眼及び右眼で異なる周波数(320、322として示される行「2」及び「4」)のいずれかとして提示される。行「2」及び「4」(320、324)では、第1の数値(326)の各々は、左眼によって見られる周波数を表し、第2の数値(328)の各々は、右眼によって見られる周波数を表す。他の構成が、使用され得る。例えば、行「1」及び「3」による同じ周波数の出力は、例えば、行「2」及び「4」による異なる周波数が、どこまで非同期的に提示され、一貫して検出され得るかを眼が追跡するための共通の基準を提供する。非同期動作の場合、分類に影響を与える可能性のある、対象内に発生し得るミキシングのため、一意の周波数が、左眼及び右眼の間で使用されるべきである。
【0055】
図3Cに示される例は、特定の順序又は増分で配置されている周波数を示しているが、一意の周波数の順序付けの順序は変化し得る(及び依然として同様の性能を提供し得る)ことに留意されたい。
【0056】
本明細書に記載の深層学習アルゴリズム及び軟質電子機器ハードウェアと併せて、EEG BMIシステム100bは、例えば、33クラスのSSVEP入力に対して、リアルタイムのデータ処理及び分類を提供することができる。本明細書に報告される研究では、EEG BMIシステム100bが、0.8秒の取得ウィンドウ内で78.93%及び2秒の取得ウィンドウ内で91.73%の正確度で、33個の識別可能なクラスを提供し得ることが観察された。
【0057】
図3Aを更に参照すると、SSEシステム110bはまた、可撓性マイクロニードル電極(FMNE)104’に接合された、統合された延伸可能なインターコネクタのアレイを含み得る。軟質頭皮電子システム110bは、高い機械的コンプライアンスを有するように、可撓性膜回路を使用して製造され得る。可撓性膜回路は、電子チップ(例えば、フロントエンド取得IC及びネットワークインターフェースIC)と一体化され、機械的コンプライアンスを維持するためにカプセル化され得る。
【0058】
図3Aに示される例では、FMNE104’のアレイの各々は、例えば2超(例えば、350μmのベース幅で高さ800μm)の高アスペクト比のニードルのセットを含む。他のニードルのベース対高さ比、例えば、1、1.1、1.2、1.3、1.4、1.5、1.6、1.7、1.8、1.9、2.0を用いてもよい。いくつかの実施形態では、ニードルのベース対高さ比は、2超であり得る。
【0059】
図3Aに示される例では、軟質頭皮電子システム110bは、ウェアラブルヘッドストラップ206(206’として示される)に取り付けられた又は固定されたFMNE104’のアレイに接続される。
【0060】
電極アレイ104’は、軟質頭皮電子システム110bのADCフロントエンド回路(例えば、ADC132を備える)に接続される。軟質頭皮電子システム110bは、取得されたEEC信号をBMI制御システム(例えば、112)に通信することができるネットワークインターフェース(例えば、134)を含む。
図3Aに示される例では、BMI制御システム112aは、EEG記録機械学習分類アルゴリズム(例えば、114)からのシーケンスを処理して、VR/ARシステム環境内のVR/ARターゲットを制御するための制御信号として使用され得るSSVEP分類を生成するように構成される。
【0061】
刺激の複雑さに対処し、かつ高レベルの分類性能を維持するために、機械学習動作が、セッションごとに実行され得る。
図4Bは、ランタイム動作中にBMI制御システム(例えば、112)を構成及び再構成するための動作の例示的な方法330を示す。
【0062】
図4Bに示される例では、方法430は、例えば、軟質頭皮電子システム110bを介してEEG信号を取得すること(432)を含む。EEG信号は、較正動作中に取得され得る。複数の訓練試行を実行して、最小限のバイアスで機械学習モデルを訓練するのに十分なデータを取得してもよい。較正動作は、各セッションの前に実行され得る。次いで、方法430は、取得された信号を訓練システム(例えば、クラウドインフラストラクチャ)に送信すること(434)を含む。訓練システムは、セグメンテーション(438)(例えば、0.8秒~2秒の範囲のデータをセグメント化する)、フィルタリング(440)(例えば、2.0Hzのコーナー周波数を有する双方向3次ハイパスバターワースフィルタを使用して)、及び再スケーリング動作(441)(例えば、-0.5~0.5の範囲の間で線形的に再スケーリングする)を介して取得された信号を前処理する(436)ことができる。
【0063】
訓練システムは、ハイパーパラメータ調整(例えば、フィルタのサイズ、フィルタの数、及び畳み込みステップの数)を用いて空間CNNモデルのバリエーションを訓練することによって、分類動作(438)を実行し得る。次いで、訓練システムは、性能が改善されるかどうかを判定する(440)。改善されている場合、訓練システムは、次に、モデルパラメータをランタイムシステム(例えば、BMI制御システム112)に送信する(442)。
【0064】
いくつかの実施形態では、SSVEP用のEEG BMIシステム100bは、MI用のEEG BMIシステム100aと組み合わせて使用され得る。
【0065】
例示的な動作方法
図4Aは、制御信号を出力するために、本明細書に開示されるシステムの一実施形態を使用して動作させる方法400を示す。方法400は、例えば、
図1、
図2A、
図3A、又は本明細書に記載される他のBMI構成に関連して説明される薄型EEGセンサを提供すること(402)を含む。
【0066】
次に、方法400は、薄型EEGセンサのセットに動作可能に接続されたプロセッサ又は脳マシンインターフェースによって、受信している薄型EEGセンサから取得されたEEG信号を受信すること(404)を含む。データ取得の例が、
図1、
図2A、及び
図3Aに関連して提供される。
【0067】
次いで、方法400は、プロセッサによって、取得されたEEG信号から、訓練されたニューラルネットワークを介して、制御信号として脳信号を継続的に分類すること(406)を含む。
【0068】
次いで、方法400は、プロセッサによって、制御信号を仮想現実環境コントローラに出力して、対象によって視認される仮想現実環境コントローラによって生成されたVRシーン内で、コマンドを作動させること(408)を含む。
【0069】
例#1 可撓性マイクロニードルアレイの製造方法
図5Aは、本開示の例示的な一実施形態による、電極のアレイを基板上に製造する方法500を示す。
図5Aの例では、各電極アレイの面積は、約36mm
2であり得、それにより、典型的には導電性ゲルを必要とする従来の大型カップ電極(100mm
2)よりもEEG空間分解能を改善することができる。他のアレイサイズ、例えば、約10mm
2、約15mm
2、約20mm
2、約25mm
2、約30mm
2、約35mm
2、約40mm
2、約45mm
2、約50mm
2を用いることができ、ここで、「約」は、±1mm、±2mm、又は±2.5mmの範囲を指す。いくつかの実施形態では、アレイサイズは、50mm
2よりもと100mm
2との間であり得る。導電性ゲルを有する典型的なEEGは、サイズが約100mm
2である。
【0070】
図5Aで、プロセス500は、マスターネガティブPDMS(ポリジメチルシロキサン)アレイ金型を提供すること(502)を含む。PDMSアレイ金型は、IPAを使用して洗浄され、60℃で10分間乾燥され得る。プロセス500は、ネガティブPDMS金型を使用してエポキシポジティブ金型を作製すること(504)を含む。ポジティブ金型は、エポキシ樹脂(例えば、Smooth On,Inc.によって製造された樹脂EpoxAcast)によって形成され得る。プロセス500は、エポキシポジティブ金型をスライドガラスに転写すること(506)を含む。PDMSの接着層として、接着剤を使用してPDMSネガティブ金型をスライドガラスに接着することができる。画像506’は、ポジティブエポキシ金型を示す。プロセス502~506を繰り返して、エポキシポジティブ金型の追加のコピーを形成することができる。いくつかの実施形態では、PDMSネガティブ金型は、周囲空気プラズマで処理(例えば、2分間)され得る。
【0071】
プロセス500は、エポキシポジティブ金型のコピーをトレイ内のアレイ内に位置付けること(508)を含む。プロセス500は、追加のPDMSをトレイに追加して、ネガティブ金型の新しいセットを形成すること(510)を含む。ステップ508に示される金型は、4×2のアレイであるが、ステップ502~506で作製された任意の数のエポキシ金型が使用され得ることを理解されたい。プロセス500は、ステップ508及び510で使用されたトレイからPDMSネガティブ金型を剥離すること(512)を含む。画像512’は、PDMSから形成されたナガティブシリコーン金型を示す。画像522’は、最終的なコーティングされた電極を示す。金型の構成要素は、ステップ502~512で形成される。
【0072】
ニードルを製造するために、プロセス500は、まず、希釈されたポリイミド(PI)溶液をPDMSネガティブ金型に添加すること(514)を含み、次いで、軟焼成され得る(例えば、80℃で10分間)。プロセス500は、第2の希釈されたポリイミド溶液を516の金型に添加すること(516)を含み、次いで、この金型が、硬焼成され得る(例えば、200℃で1時間)。
図5Aに示される例では、第1の希釈されたポリイミド溶液は、3:1比の溶液であり、第2の希釈されたポリイミド溶液は、2:1の溶液である。他の比率及び処理時間を使用することができる。プロセス500は、金型からPIニードルを除去すること(518)、例えば、PDMS金型からポリイミドマイクロニードルアレイ(PI MNA)をはがすことを含む。
【0073】
次いで、PIニードルが、導電層でコーティングされ得る。プロセス500は、PDMSコーティングされたスライド上にPDMSニードルを設置すること(520)を含み得る。ポリイミド(PI)の薄層(例えば、HD Microsystemsにより商標PI 2610で販売されているPI)が、軟焼成前にかみそりの刃でこすることによって、ネガティブPDMS金型に塗布され得る。PIは、例えば、800RPMで60秒間、金型上にスピンコーティングされ得る。次いで、プロセス500は、例えば、Crコーティング及び次いでAuコーティングを介して、スパッタ堆積を使用してPIニードルをコーティングすること(522)を含み、ここで、CR及びAUの深さは、それぞれ5nm及び200nmである。スパッタリングは、複数のステップで実行され得る。例えば、PIニードルの上面又は底面が、1つのステップでスパッタコーティングされ得、次いで、残りの表面が、次のステップでスパッタコーティングされ得る。
【0074】
例#2 可撓性マイクロニードルアレイの製造方法
図5Bは、本開示の例示的な一実施形態による、電極のアレイを基板上に製造する別の方法530を示す。方法530は、例えば、
図5Aに関連して説明されたように、PDMSネガティブ金型(512)を作製することを含む。次に、プロセス530は、エポキシの薄層(例えば、EP4CL-80MED、Master Bond Inc.)を追加してニードル533を形成すること(532)を更に含む。エポキシは、高い引張強度及び圧縮強度、並びにその生体適合性を有する一液型エポキシであり得る。一液型エポキシは、溶媒なしで使用され得、それにより、エポキシが泡立つのを防ぐことができ、混合ステップを必要とせず、混合によってエポキシに空気が混入するのを回避する。次いで、プロセス530は、穿孔ポリイミドシート(535)をニードルに追加すること(534)を含む。画像534”は、穿孔ポリイミドシートの例示的な設計を示し、画像534’は、高いコンプライアンス及び可撓性を有する、製造された例示的な穿孔ポリイミドシートを示す。次いで、プロセス530は、低温硬化を実行すること(536)(例えば、100℃で1時間)を含む。低温硬化を使用して、金型をより多くのレプリカ成形サイクルにわたって繰り返し使用することを可能にし得る。対照的に、いくつかの実施形態では、高温PI硬化は、わずか3回の製造サイクルでPDMS金型を破壊する可能性がある。
【0075】
次いで、プロセス530は、ニードル構造体を金型から剥離して、ニードル構造体を、PDMSコーティングされたスライド上に設置すること(538)を含む。ニードルは、ニードル構造体の両側にCr/AUをスパッタリングすることによってコーティングされ得る(540)。画像538’は、Cr/AUコーティング前のニードルアセンブリを示し、画像540’は、Cr/AUコーティング後のニードルアセンブリを示す。
【0076】
可撓性主回路の例示的な製造方法
図5C及び
図5Dは、例示的な一実施形態による、例示的な可撓性主回路を製造する方法550を示す。可撓性主回路は、電極の湾曲が頭皮表面に適合することを可能にするのに十分に薄くあり得るポリイミド基板を含み得る。
【0077】
方法550は、洗浄されたシリコンウェハ上にPDMSをスピンコーティングすること(552)(例えば、3000rpmで30秒間)を含む。PDMSコーティングされたウェハは、硬化され得る(例えば、150℃のホットプレート上で5分間)。酸素プラズマ処理が、PDMSを親水性にするために実施され得る。
図552’は、スピンコーティングされたPDMSを示す。次いで、方法550は、ポリイミドをスピンコーティングすること(553)(例えば、4000rpmで1分間)及び真空オーブン内での焼成(例えば、250℃で3時間、ランピングステップを含む)を含む。画像553’は、第1のポリイミドスピンコートウェハを示す。
【0078】
次いで、方法550は、第1の金属層のために銅をスパッタリングすること(例えば、500nm銅)(554)を含む。画像554’は、第1の銅堆積ウェハを示す。
【0079】
次いで、方法550は、フォトレジスト(例えば、SC1827)をスピンコーティングし(例えば、3000rpmで30秒間)、かつそれを焼成すること(例えば、110℃のホットプレート上で1分間)と、マスクアライナ(例えば、MA6)を使用し、第1の金属パターン(研磨されている)を用いてUVを露光することと、現像剤(例えば、MF-319)で、露光したフォトレジストを現像することと、によってウェハをパターン化すること(555)を含む。
【0080】
次いで、方法550は、露出した銅を銅エッチング剤(APS-100、DI水で1:1に希釈)でエッチングすること(556)を含み、フォトレジストをストリップする。画像556’は、Cuエッチングが実行された底部Cuエッチング回路を示す。次に、方法550は、ポリイミドをスピンコーティングすること(557)(例えば、850rpmで1分間)、及び真空オーブン内でそれを焼成すること(例えば、250℃で3時間、ランピングステップを含む)を含む。画像557’は、第2のポリイミドスピンコートウェハを示す。
【0081】
次いで、方法550は、フォトレジスト(例えば、AZP4620)をスピンコーティングし(例えば、1000rpmで30秒間)、かつそれを焼成すること(例えば、95℃のホットプレート上で4分間)と、現像剤(例えば、AZ400K、4部のDI水で希釈)で、露光したフォトレジストを現像することと、によってウェハをパターン化すること(558)を含む。次いで、方法550は、反応性イオンエッチング(Plasma-Therm)を使用して、PIを酸素プラズマエッチングに曝露すること(559)、及びフォトレジストを除去することを含む。
図559’は、ビアを有してエッチングされたポリイミド回路を示す。
【0082】
次いで、方法550は、スパッタリングによって第2のCu層を堆積させること(560)(例えば、第2の金属層のための1.5μmの銅)を含む。画像560’は、第2の堆積ウェハを示す。
【0083】
次いで、方法550は、例えば3000rpmで30秒間、フォトレジスト(例えば、AZP462)をスピンコーティングし、かつそれを焼成すること(例えば、95℃のホットプレート上で4分間)と、マスクアライナ(例えば、MA6)を使用し、第2の金属パターンを用いてUVを露光することと、現像剤(例えば、AZ400K、4部のDI水で希釈)で、露光したフォトレジストを現像することと、によってウェハをパターン化すること(561)を含む。次いで、方法550は、露出した銅を銅エッチング剤(APS-100、DI水で1:1に希釈)でエッチングすること(562)、及びそれらにフォトレジストを除去することを含む。画像562’は、上部Cuエッチング回路を示す。
【0084】
次いで、方法550は、ポリイミドをスピンコーティングすること(563)(例えば、4000rpmで1分間)及び真空オーブン内での焼成(例えば、250℃で3時間、ランピングステップを含む)を含む。画像563’は、第3のポリイミドスピンコートウェハを示す。
【0085】
次いで、方法550は、例えば2000rpmで30秒間、フォトレジスト(AZP462)をスピンコーティングし、かつそれを焼成すること(例えば、95℃のホットプレート上で4分間)と、現像剤(AZ400K、4部のDI水で希釈)で、露光したフォトレジストを現像することと、によってウェハをパターン化すること(564)を含む。次いで、方法550は、反応性イオンエッチング(Plasma-Therm)を使用して、酸素プラズマエッチング曝露PIを実行すること(565)、及び最終的な可撓性回路を生成するために、フォトレジストをストリップすることを含む。画像565’は、露出したCu堆積層を有するポリイミドエッチングされた上部回路を示す。
【0086】
次いで、方法550は、回路をスライドガラスに転写すること(画像566’参照)と、チップ構成要素上にはんだをリフローしてICを組み込むこと(画像566”参照)と、エラストマー中に全回路(例えば、110)をカプセル化すること(画像566”’を参照)と、によって可撓性回路上にICを組み込むこと(566)を含む。
図5Dは、スライドガラス上に曲げられた、最終的に製造された可撓性回路を示す。代替方法の説明が、Mahmood et al.2021、Mahmood et al.2019、Zavanelli et al.2021に記載されている。
【0087】
例#1 延伸可能な相互接続部の製造方法
図5Eは、例示的な一実施形態による、例示的な可撓性相互接続部(例えば、128)を製造する方法570を示す。(例えば、クリーンルーム内での従来の微細製造と比較して)スループットを改善し、製造コードを低減するために、方法570は、微細加工プロセスを使用して延伸可能な相互接続部(例えば、128)を製造するために、フェムト秒レーザーカッター(WS-Flex USP、OPTEC)を使用し得る。方法570は、3つの主な製造プロセス(ポリイミドフィルムのためのPET基板調製、ポリイミドフィルム上でのCr/Auのスパッタリング、及びレーザーカットパターニング)を含み得る。
【0088】
PIフィルムのためのPET基板を調製するために、方法570は、PETシート上にPDMS(Sylgard184、Dow Corning)をスピンコーティングすること(572)(例えば、700rpmで60秒間)と、それを硬化させること(例えば、70℃で30分間)と、次いで、調製されたPIシート上のCr/AuをPDMS上に貼り付ける(例えば、それが完全に接着し、気泡又は波紋がないことを確実にする)ことと、を含み得る。次いで、方法570は、過剰なPI 2610を堆積させて(573)スピンコーティングし(例えば、3000rpmで1分間)、ホットプレート上で第1の焼成ステップ(例えば、70℃で30分間)を実行することと、第1の焼成ステップの後にPDMS/PET基板からPIフィルムを除去し、PIフィルムを清浄なホットプレートに直接テーピングして(576)熱によるカール及び収縮を防止すること)と、次いで、第2の焼成操作(例えば、100℃で15分間、次に150℃で15分間、次に200℃で15分間、次に250℃で15分間)を進めること(578)と、を含む。
【0089】
Cr/AuをPIフィルム上にスパッタリングするために、方法570は、まず、PIフィルム(Kapton HN Film、0.5ミル、DuPont)の0.5ミルシートを取り、それを、例えば、最初にIPAで、次いでアセトンで徹底的に洗浄し、各洗浄後に乾燥させることを含み得る。次いで、方法570は、PIフィルムを、スパッタマシン内に収まるように6インチ×4インチのサイズのシートに切断することを含み得る。次いで、方法570は、PIフィルム上にCr/Au(10nm/200nm)をスパッタリングすること(574)を含み得る。
【0090】
レーザーカッターでパターン化する(580)ために、方法570は、PET基板上のPDMS上にPIフィルムサンドイッチを再貼り付けすること、及びフェムト秒レーザーカッター(WS-Flex USP、OPTEC)を使用することを含み、真空を使用して材料をステージに固定する。次いで、方法570は、マスクされた領域が設計の相互接続端部と整列するように、材料をステージと整列させ、レーザーヘッドをゼロにすることによって、材料を調整することを含み得る。パターンは、例えば、IFOVモード、60kHzパルス、60の移動速度、60のジャンプ速度、12%パワー、及び2回の反復(合計3パス)によって、切断され得る。次いで、方法570は、先の細いピンセットを使用して、PDMS基板から最終的な切断された相互接続部をはがす(例えば、手動ではがす)こと(582)を含み得る。画像582’は、はがされる前のパターン化されたインターコネクタを示す。画像584は、はがされているときのパターン化されたインターコネクタを示す。画像584は、0%、50%、及び100%延伸(それぞれ584a、584b、及び584c)における可撓性相互接続部(例えば、128)の例示的な延伸性特性を示す。プロット586は、サイクルのセットにわたる可撓性相互接続部(例えば、128)の機械試験結果を示し、プロット588は、可撓性相互接続部(例えば、128)のひずみ/抵抗曲線を示す。試験は、250%の引張延伸後に機械的破壊を示す。
【0091】
例#2 延伸可能な相互接続部の製造方法
インターコネクタ用の基板は、2ミルPIフィルム(200HPP-ST、DuPont)上でCr/Au(5nm/200nm)を電子ビーム蒸発させることによって調製される。次に、金属コーティングされたPIフィルムを、PDMSコーティングされたPETフィルム上に積層して、レーザー切断プロセス中、材料を保持することができる。延伸可能なインターコネクタのアレイが、金属コーティングされたPIフィルム上にパターン化されると、パターン化されたインターコネクタ以外の余分な材料を、PDMSコーティングされたPETフィルムから手動ではがすことができる。水溶性テープを用いて、インターコネクタが、軟質エラストマー基板(Ecoflex 00-30、Smooth-On,Inc.)上に転写印刷され、それらの接触パッド以外の領域が、追加のエラストマーの層でカプセル化される。インターコネクタは、銀ペイント(Fast Drying Silver Paint、Ted Pella)で電極及びセンサに電気的に接続される。
【0092】
実験結果及び例#1
2つの研究が、仮想現実脳マシンインターフェースを開発及び評価するために実施され、第1の研究では、運動画像BMIを使用し、第2の研究では、定常状態視覚誘発電位(SSVEP)を使用した。
【0093】
運動画像研究の概要。
図6A、
図6B、
図6C、
図6D、及び
図6Eは各々、例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを使用する、運動画像訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の態様を示す。具体的には、
図6Aは、ビデオゲームデモンストレーションの運動画像訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の概要を示す。本研究では、少なくとも3つの主要な構成要素、1)毛深い頭皮に装着するための複数の可撓性マイクロニードル電極、2)レーザー加工された延伸可能で可撓性の相互接続部、及び3)薄型の可撓性回路、を含む、完全にポータブルな無線の軟質頭皮電子機器を評価した。本研究はまた、運動視覚化を支援するための便利な没入型の訓練環境を可能にし得る仮想現実(VR)構成要素を含んだ。これらの構成要素は、運動アーチファクトを最小化し、信号品質を最大化するために最適化されたモノリシックEEGシステムとして、研究で使用された。頭皮上に最適なインピーダンス密度を提供し、信号対ノイズ比を改善し、MI記録のための空間分解能を改善するために、表皮貫通型電極が、使用された。全体として、本研究は、例示的なデバイス及びシステムの実施形態が、強力な機械学習アルゴリズム及び仮想現実環境でうまく動作し得る高性能BMIシステムへの実現可能なアプローチを提供することを示した。加えて、本研究は、本開示の実施形態が、たった6つのEEGチャネルしか有しない知覚不能なヘアウェアラブルシステムを使用することができ、4つのヒト対象で、23.02ビット/分のピーク情報転送速度を有する4つのクラスについて93.22±1.33%の高い正確度を達成し得ることを示した。
【0094】
方法論。本研究では、6つのチャネルのMI信号のリアルタイムで継続的な運動画像分類を提供するように構成された、カスタマイズされたAndroidアプリケーションを開発した。Androidアプリケーションは、VRの訓練及び試験プロセスを評価するために使用された。訓練システムでは、システムは、MI応答試験用に設計されたテキスト及びアニメーションプロンプトを伴うVRビジュアルの修正ビュー(630)を対象に提示した。
図6Aに示される例では、VR画面632は、胴体から切り離された手及び足を含む例示的なVRシーンである。VR画面633は、明確な色分けされた視覚キューと、運動画像を介してユーザによって作動され得るテキストプロンプトとを含む例示的なVRシーンである。開発されたアプリケーションは、測定機器によって観察された、関連付けられたEEG信号637とともにVRシーン635を示した。プロット619は、Androidアプリケーションのインターフェースのうちの1つから取得されたEEG信号637を示す。
【0095】
本開示の例示的な実施形態の結果は、訓練器具としてのVR環境の優れた性能を実証する(4人の対象からの2240個のサンプル、対象当たり560個のサンプル、ウィンドウ長w=4秒)。FMNE及びVRのセットアップで、更なる正確度の改善も観察された。向上した正確度は、胴体から切り離された手及び足が、対象の視野内で対象の現実の四肢とほぼ同じ位置に示される(632)没入型VR訓練プログラムに起因し得る。本研究で、対象は、頭を優しく回転させたり傾けたりして、VRアプリケーション内で自分の手や足を視覚化することができた。
【0096】
ニューラルネットワーク訓練。
図6Bは、本研究で使用されたMI分類システムのニューラルネットワーク訓練を示す。
図6Bに示される例では、運動画像分類のための空間畳み込みニューラルネットワークのための訓練が示されている。システムは、6つのEEGチャネル(618)を取得し、それらを運動皮質の複数の双極源からの空間的特徴に分解した。入力(618)は、事前定義されたサンプルサイズ(1000個のサンプルとしてこのサンプルに示されている)を有する6つのEEGデータを含んだ。研究で使用された空間畳み込みニューラルネットワークは、いくつかの隠れ層(634)(「2D畳み込み」634a及び「2D空間畳み込み」634b、634c、634d、634eとして示される)を含んだ。ステップ637において、平坦化ステップを実行して、高密度出力層を生成することができる。
【0097】
分類結果。
図6Cは、本研究において
図6Bの空間CNNを使用した分類結果(N=4人の対象)を示す。
図6Cは、生データ、ハイパスフィルタデータ(HPF)、バンドパスフィルタデータ(Bandpass)、及びパワースペクトル密度分析(PSDA)を含む、4つの分析ベース間の空間CNN分類正確度の比較プロット640を含む。分析が実施され、複数のウィンドウ長(1、2、及び4秒)にわたって提示されている。エラーバーは、4人の対象からの標準誤差を示す。
【0098】
図6Cはまた、従来のAg/AgClゲル電極を使用するものと例示的なFMNEとの間の空間CNN分類正確度の第2の比較プロット642を含む。分析はまた、複数のウィンドウ長(1、2、及び4秒)にわたって実施され、エラーバーは、4人の対象からの標準誤差を示す。
【0099】
図6Cはまた、従来のAg/AgCl電極によって、及び例示的なFMNEによって取得された運動画像脳データのリアルタイム正確度試験からの結果を示す2つの混同行列(644、646)を示す。行列644では、従来のAg/AgCl電極の結果は、89.65%の全体正確度を示す(N=2,240個のサンプル、ウィンドウ長=4秒、及び4つのヒト対象)。行列646では、例示的なFMNEの結果は、93.22%の全体正確度を示す(N=2,240個のサンプル、ウィンドウ長=4秒、及び4つのヒト対象)。
【0100】
図6Cはまた、空間CNN分類器を使用して、及び標準のCNN分類器を使用して取得された、運動画像脳データのリアルタイム正確度試験からの結果を示す2つの追加の混同行列(648、650)を示す。行列648では、空間CNN分類器の性能の結果は、FMNEデータセットに対して93.3%の全体正確度を示す(4人の対象からのn=2240個のサンプル、対象当たり560個のサンプル、ウィンドウ長w=4秒)。行列650では、FMNEデータセットに対する標準のCNN分類器の性能の結果は、64%の全体正確度を示す(4人の対象からのn=2240のサンプル、対象当たり560個のサンプル、ウィンドウ長w=4秒)。
【0101】
図6Eは、文献[15、20、25、26、27、21]に報告されているような他のデバイスと例示的な実施形態との比較を示す表を示す。実際、例示的なBMIセンサデバイス及びシステムは、例えば、MIパラダイムを使用した仮想現実ゲームに対して正確な制御を提供することができることが観察され得る。表では、例示的なBMIセンサデバイス及びシステムは、一実装例では、93%超の正確度を提供して、たった6つ電極を使用して約23ビット/分のITRを提供し得ることが示されている。他の構成についての他の性能結果も、本明細書に報告される。
【0102】
チャネル選択の分析。
図6Dは、最適化されたチャネル数及びチャネルの選択を評価するために本研究で実施された予備分析の結果を示す。この分析のために、先行研究(High-Gamma Dataset)[1]で実施されたような、13人の健康で正常な対象からの従来の128チャネルからの44チャネルのデータが、考慮された。分析で、最も有意であった44個のチャネルから6つの最適なチャネルを決定した。次いで、これらの6つのチャネルが、例えば、
図2に関連して示され、説明されるように、感覚アレイセットとして実装された。他のチャネルは、症状のある対象を含む、評価される患者又は対象に応じて、同様に選択され得る。
【0103】
図6Dに示される例には、研究で使用された全データセット(652)が示されている。4Hz及び30Hzのコーナー周波数を有する3次バターワースバンドパスフィルタを使用して、データを前処理し、4秒のウィンドウに分割した。
【0104】
データは、(10,1)のフィルタサイズを有する、第1の層上の標準畳み込みを有する畳み込みニューラルネットワーク(CNN)、それに続く4つの空間畳み込み層を訓練して(654)、訓練されたネットワークを生成するために使用された。
【0105】
データ(652)はまた、選択されたチャネル上の出力摂動を計算するために、(残りのチャネルを除去しながら)データチャネルを周期的に繰り返すジェネレータを使用して評価された(656)。この結果得られたデータが、訓練されたネットワーク(654から生成された)に供給された。出力摂動が、真の期待される出力と比較され、そのチャネルの相対的な摂動を生成する(658)。これらの相対摂動が、クラスにわたって合計されて(662)、チャネルの各々の最終的な摂動値を生成する。
【0106】
次いで、結果が、比較されて、ランク付けされる(664)。棒グラフは、上位6つのチャネルにラベルが付けられた状態の、各チャネルの相対摂動を示す。本研究では、低減された数(すなわち、6個)の電極が使用され、それにより、分類性能を著しく低下させることなく、セットアップの複雑さも低下した。
【0107】
実際、分析のために、例示的なFMNEを使用して、従来のEEGセットアップよりも少ない数のチャネルが使用され得ることが、観察された。標準的な10-10電極設置システムに対応する電極のおよその位置が、[16]で論じられている。
【0108】
マイクロニードル電極の座屈力評価。
図7Aは、例えば、
図5Bに関連して説明されたプロセスを使用して製造された、例示的なマイクロニードル電極の座屈力性能の研究中に実施された定量的機械試験の結果を示す。具体的には、
図7Aは、単一のマイクロニードル上に軸方向力を介して適用される電動フォースゲージの下で評価される、マイクロニードル電極のSEM観察(710)を示す。プロット(712)は、5つの電極の座屈力評価からの力対変位曲線を示す。5つの製造されたFMNEは、少なくとも626mNまでの平均印加力に耐えることができ、これは、単一のマイクロニードルの皮膚挿入力(20~167mN)を十分に上回ることが、観察された[17]。
【0109】
マイクロニードル電極の可撓性評価。
図7Bは、例えば、組織挿入における機械的頑健性を評価するために、例示的なFMNEの可撓性を評価するためのサイクル曲げ機械試験からの結果を示す。例示的なFMNEは、その優れた生体適合性のために安全に使用できる、皮膚表面に装着される金ベースの電極として構成された。
図709は、試験試料の断面の概略図を示す。試験中、電気抵抗の変化を測定しながら、ニードル電極を5mmの曲率半径で最大100回連続的に曲げた。結果は、0.6Ω未満の無視できる抵抗シフトを示す。
【0110】
マイクロニードルのインピーダンス密度特性評価。表1は、マイクロニードル(MN)電極のインピーダンス及びインピーダンス密度の比較研究の結果を示す。本研究では、様々な高さの異なるマイクロニードル設計が、評価された。設計は、14×14のアレイにおいて、200μmの固定ベース幅及び500μmのピッチを含んだ。
【表1】
【0111】
インピーダンス密度(ID、kΩ・cm2)は、測定されたインピーダンス(Z、kΩ)に、測定された電極接触面積(A、cm2)を乗算して計算され得る。ID=Z*A。
【0112】
運動画像の考察。脳マシンインターフェース(BMI)は、麻痺などの身体障害、又は同様の運動機能障害をもたらす脳損傷を有する個人のための可能な解決策を提供する。それらの中で、著しく困難な障害が、個人が意識はあるが、移動又はコミュニケーションすることができない閉じ込め症候群である[1]。ここで、BMIは、これらの個人に対して何らかの機能を回復して、動き及びコミュニケーションのためのより大きな能力を提供し、生活の質を改善することができる場合がある[1、2]。脳波検査(EEG)は、脳の電気活動を取得するための最高の非侵襲的方法であり[3~5]、頭皮表面に装着された電極が、表層皮質内のシナプス後電位の合計を記録する。従来の研究グレード及び医療グレードのEEGは、複数の剛性電極を有するヘアキャップ又は大型のヘッドギアを使用して、頭皮で信号を測定する。これらの重くてかさばるシステムは、着用が不快であり、多くの場合、システムに取り付けられるか、又は長いリード線を使用して分離されるかのいずれかの大型の剛性電子機器を必要とする[3]。これらのデバイスは、一貫した皮膚電極インピーダンスに大きく依存し、典型的には、著しい運動アーチファクト及び電磁干渉を被る[3、4]。典型的には、電極は、表面接触を改善し、インピーダンスを低減するために、導電性ゲル又はペーストと組み合わされる。これらの界面材料は、運動アーチファクト又は材料劣化による、これらの位置におけるインピーダンスの変化に起因するノイズ源である。全体的に、従来のシステムは、膨大なセットアップ時間を必要とし、不便で使い心地が悪い。
【0113】
改善された信号取得は、軽量で可撓性の電子機器及び乾燥電極を用いて実行され得る[6、6’、6”]。最新のEEG設計は、無線ウェアラブルEEGに向かう傾向を示している。これらは、従来の増幅器及びヘアキャップ式EEGより優れたコンパクトなバッテリ駆動設計で、日常のモバイルEEGモニタリングに好適であり得る。モバイルシステムでは、短いセットアップ時間、皮膚刺激がないこと、及び優れた長期性能のため、乾燥電極が好ましい[7、8]。更に、乾燥電極は、信号品質の低下なしに長期着用性を提供しながら、ゲルベースのEEGセンサよりも優れた性能を発揮することが多い[4、7、9]。生体電位取得の実証のための皮膚インターフェース電極(skin-interfaced electrode)の最近の開発は、オンスキンバイオエレクトロニクスのための新しい戦略及び解決策を実証する[10]。例として、優れた延伸性及び界面伝導特性を有する、スクリーン印刷された高導電性複合材料[11]及び溶液中の界面水素結合を介して製造されるナノワイヤベースのネットワーク[12]の使用が挙げられる。非侵襲性EEG BMIパラダイムのためのいくつかの戦略がある[13]。定常状態視覚誘発電位(SSVEP)が、研究され得[3]、対象は、異なる周波数の点滅刺激の間で視線をシフトさせることによって、マシンインターフェースを操作することができる。しかしながら、SSVEPの記録では、オペレータの視界を妨げる視覚刺激のアレイの要件に起因して、実用的な用途は限定されている。また、明るく点滅する刺激は、長期間使用されると、眼精疲労や倦怠感を引き起こす可能性がある。代替的に、運動画像(MI)は、外部刺激の使用を必要としないため、持続的BMIのための非常に有利なパラダイムであり、そのクラスは、手を開いたり閉じたり、足を動かしたりするなどの想像上の運動活動に基づく[14、15]。MIを使用すると、指定された運動画像タスクが、対応する運動皮質領域内で感覚運動リズムの変動をもたらし得、この変動は、EEGで測定可能である。
【0114】
実験結果及び例#2
定常状態視覚誘発電位(SSVEP)研究の概要。無線軟質生体電子システム及びVRベースのSSVEP検出プラットフォームを評価するために、第2の研究が、実施された。
図8A、
図8B、
図8C、
図8D、
図8E、
図8F、
図8Gは各々、例示的な一実施形態による、例示的なEEG脳マシンインターフェースシステムを使用する、SSVEP訓練及びリアルタイム制御のための仮想現実(VR)実装を開発するための研究の態様を示す。
【0115】
本研究では、プラットフォームが、スプリットアイ非同期刺激動作用に構成されて、ポータブルな脳コンピュータインターフェース(BCI)としての情報スループットについて評価された。本研究では、とりわけ、33個の刺激クラスを有するVRインターフェースが、テキストスペリングのためのSSVEPのリアルタイム無線記録で実行され得ることが確認された。軟質ウェアラブルプラットフォームは、可撓性回路、延伸可能なインターコネクタ、及び乾燥ニードル電極を含み、これらが、VRヘッドセットと一緒に動作して、完全にポータブルな無線BCIを提供した。本研究はまた、皮膚適合電極が、SSVEPの高品質記録のために、生体適合性のある一貫した皮膚-電極接触インピーダンスを提供することを実証した。従来のテザードEEGシステムと比較して、例示的な無線軟質電子システムは、SSVEP記録で優れた性能を示した。軟質電子機器と統合された空間CNN分類法は、リアルタイムのデータ処理及び分類を提供し、9つのヒト対象からの33クラスの場合、0.8秒で78.93%~2秒で91.73%の正確度を示した。加えて、たった4つのEEG記録チャネルしか有しない生体電子システムが、先行研究と比較して、高いITR性能(243.6±12.5ビット/分)を実証し、実世界環境でのVRテキストスペリング及びナビゲーションの成功裏の実証を可能にした。
【0116】
本研究はまた、最小限のアーチファクトで優れた信号再生が、SSE用の軟質回路のモノリシックでコンプライアントな性質によってもたらされる可能性があることを示した。剛性電子機器と非可撓性配線とを有する従来のシステムでは、運動が、皮膚-電極界面に応力集中を引き起こす可能性がある。これらの応力は、従来のゲルベースの電極と組み合わされると、著しい皮膚-電極インピーダンスの変動を引き起こし、運動アーチファクトをもたらす。垂れ下がったワイヤを伴う場合、重力の影響が、これらの問題の度合いを増す。SSE用途で研究されたFMNEは、乾燥した及び死んだ皮膚細胞で構成される最表面の皮膚層を貫通することによって、改善されたSNRを提供することが観察された。これらの層を貫通し、かつ電極の導電性部分を真皮の十分内部に設置することによって、システムは、従来の設定よりも小さい電極を可能にし、MI検出のための空間分解能を改善しながら、インピーダンス密度を大幅に低減することができる。代表的存在のAg/AgClゲル電極と直接比較した場合に、FMNEは、優れたSNRを達成した。
【0117】
方法論:本研究は、VRヘッドセット、乾燥ニードル電極(例えば、102)、延伸可能なインターコネクタ(例えば、109)、及び無線可撓性回路(例えば、110)を含む、複数の構成要素を有する軟質生体電子システムを使用した。本研究では、様々な構成要素の機械的信頼性が、実施された。本研究ではまた、SSVEP刺激セットアップのための異なる電極の性能が、評価された。
【0118】
訓練のセットアップは、電極の上にストラップが設置されたVRヘッドマウントディスプレイ(HMD)を着用した対象を伴った。対象は、脳信号を記録するために、VR HMDとともに、ヘッドバンドによって固定された乾燥ニードル電極(毛深い部位)及び無線回路(首)を有する軟質電子機器を着用することができる。
【0119】
データは、複数のデータセットのためにカスタム構築されたEEGシステムを使用して、500Hzでサンプリングされた。VRヘッドセットが対象上に設置されると、アプリケーションが、データ取得Androidデバイスから遠隔制御される。バイアスを避けるために、刺激が、対象に向けて、同時にグリッド内に提示された(Xiao et al.2021)。対象は、試行ごとに眼を閉じて開始し、8秒間アルファリズムを記録した。この期間の終わりに、短いビープ音が鳴らされて、対象は、眼を開いて刺激を見た。対象は、大きなクリックノイズによって示されると、2秒ごとに次の刺激に眼を向ける。刺激は、0.6秒間、点滅を一時的に止めて、対象が、それぞれの視線を次のターゲットにシフトすることを可能にする。このプロセスは、全ての刺激が視認されるまで続き、対象は、サイクルを再スタートするために眼を閉じるように促される。より短い時間枠(2秒未満)では、最初の0.8、1.0、又は1.2秒の刺激のみが、データの分類に使用される。したがって、サンプルの数は、各時間枠について同一であり、N=S×40として計算され得、式中、Sは、刺激の数である。本明細書に記載されるサンプルの期間及び数は、非限定的な例としてのみ意図されること、及びいくつかの実施形態では、異なる期間が使用され得ることを理解されたい。
【0120】
図8Aは、研究中に開発及び評価されたVRテキストスペラを示す。写真802は、BCI実証のための仮想現実ヘッドマウントディスプレイ(VR HMD)及び軟質電子機器804を着用した対象を示す。プロット806は、Bluetooth(BLE)通信を介して中央プロセッサ(Android)に転送された、4つのEEGチャネルからの例示的な測定されたEEGデータを示し、中央プロセッサで信号が、リアルタイムで処理及び分類される。
【0121】
コンピュータでレンダリングされた出力(808)は、本研究で使用された例示的なシステムによって、VR環境内で生成されたテキストスペラインターフェースを示す。フロー図(810)は、テキストスペラインターフェース(808)を生成するために使用された、BCI実証のために開発されたAndroidソフトウェアの動作フローを示す。システムでは、テキストスペラソフトウェア及び刺激オーバーレイをユーザにレンダリングするために、Unreal Engineプログラム(以下で更に論じられる)が、使用された。このソフトウェアは、電動車椅子を使用する、拡張現実視点を介した実世界環境のナビゲーションを可能にするパススルーカメラの操作を含んだ。本研究では、VR-HMDビューポート(812)及び拡張現実ビューポート(814)のハードウェアの2つのセット上にシステムを実装した。拡張現実ビューポートでは、ナビゲーション制御のために、SSVEPコマンドが、使用され得る(816)。
【0122】
スプリットアイ非対称刺激(split-eye asymmetric stimuli)(SEAS)プラットフォームは、VRハードウェア(Oculus Quest2、Facebook)をターゲットにした広く使用されているクロスプラットフォームのソフトウェア開発エンジン(Unreal Engine 4.26、Epic Games Inc.)を使用して生成された。エンジン内の2D又は3Dオブジェクトに適用可能な「マテリアル」プロパティを使用して、研究は、レンダリングされているVRパネルのサイズに応じて、異なって見えるマテリアルを作成した。マテリアルは、アニメ化されたラスターグラフィックスである「スプライト」を使用してアニメ化され得、連続したフレームが、n×nの「シート」内に配置される。Unreal Engineの内蔵テクスチャアニメーション機能を使用して、これらのフレームが、抽出及びレンダリングされた。これらのマテリアルは、エンジン環境内のほとんどの2D又は3Dオブジェクト及び平坦な表面をアニメ化するために使用された。第1のステップは、フレームレートに基づいて、関連するフレームを有するシートを生成することであった。ここで、正弦波形を生成し、その正弦波形を、正弦波形の振幅に基づいた明るさを有するタイルに変換し、次いでこれらのタイルを、Unreal Engineのテクスチャレンダリングシステム用の10×10の「シート」内に配置するために、プログラムが、MATLABで考案された。
図8F及び
図8Gは、Unreal EngineがVRインターフェースを生成するための、MATLABコード及び特定の命令を含む。
図8Gにおいて、刺激タイル生成の一例が、10×10のスプライトにおける波形及び対応するタイルレイアウトで示されている。
【0123】
クロスプラットフォームソフトウェア(Unreal Engine、Epic Games)を使用して、VRパネルの左手側及び右手側で異なって見えるアニメ化されたテクスチャを開発した。試験の第1のセット(「セット1」と呼ばれる)について、SSVEP刺激の分離性を決定するために、10.0~17.2Hzの10個の標準刺激が、生成された。表2は、左眼及び右眼の周波数及び位相を示す。
【0124】
VRインターフェース用の全ての刺激は、必要な周波数及び位相オフセットに基づいてプログラム的に生成された。本研究で使用された32個の刺激及びそれらの周波数が、
図3Cに関連して示され、説明される。32個の刺激のうちの16個の刺激には、左眼用の第1の周波数及び右眼用の第2の周波数の2つの周波数が、使用された。
【表2】
【0125】
別の試験セット(「セット2」)は、表3に示されるように、それぞれ、10.0~17.7Hzの左眼周波数範囲、及び16.9~9.2Hzの右眼周波数範囲を含む。
【表3】
【0126】
研究中の刺激の複雑さのために、及び高レベルの分類性能を維持するために、本研究では、機械学習が、セッションごとに実施された。例の説明が、
図4Bに関して提供される。訓練中、0.8~2秒の範囲で、2.0Hzのコーナー周波数を有する3次ハイパスバターワースフィルタを使用して、データを双方向にフィルタリングした。データは、訓練データセットにわたって[-0.5、0.5]の範囲に線形的に再スケーリングされたため、得られた値は[0、1]の範囲である。このタイプの前処理は、信号振幅が経時的に変化し、電極性能を低下させるため、従来のAg/AgCl電極では問題を引き起こす可能性がある。しかしながら、軟質電子機器の例示的な乾燥ニードル電極は、向上した皮膚接触で、一貫した性能を達成し得る。これにより、分類性能を改善しながら、前処理が、簡素化された。
【0127】
従来のAg/AgCl電極を使用した試験では、全ての電極で10kΩ未満の接触インピーダンスを維持するために、各対象の皮膚が、アルコールワイプで優しくこすることによって洗浄され、死んだ皮膚細胞が、研磨剤ゲル(NuPrep,Weaver,and Co.)を使用して除去された。研磨剤ゲルは、アルコールワイプを使用して除去され、表面が、清浄な紙タオルを使用して乾燥された。FMNEの場合、唯一実施された皮膚の調製は、アルコールワイプで電極位置を優しくこすることであった。EEGデータは、Bluetooth Low Energy無線通信を使用して、Android Tablet(Samsung Galaxy Tab S4)上で実行されるカスタムアプリケーションを使用して記録された。
【0128】
予備SSVEP性能。
図8Bは、異なる電極位置についての予備性能評価の結果を示す。32個の刺激でテキストスペラセットアップを実行する前に、VR環境内で刺激を使用することの実現可能性を試験するために、予備SSVEP及びSEAS試験が、実施された。プロット818は、複数の時間窓(0.8~2秒)にわたる2つのSSVEP刺激セットの平均分類正確度を示す。プロット820は、8人の対象からの2つのSSVEP刺激セットの平均情報転送速度(ITR)を示す(セット1についてはN=440、セット2についてはN=360)。試験の第1のセット(「セット1」とラベル付けされる、表2による)について、10.0~17.2Hzの10個の標準刺激を生成して、SSVEP刺激の分離性を決定した(詳細は表S1)。別の試験セット(「セット2」、表3による)は、それぞれ、10.0~17.7Hzの左眼周波数範囲、及び16.9~9.2Hzの右眼周波数範囲を含む。
【0129】
セット「1」の結果は、短時間のサンプルで高い正確度を示す。例えば、基本的なキューガイドタスクでは、セット1の8人の対象が、わずか0.8秒のウィンドウ長で91.25±1.40%の正確度を実証する。この結果は、206.7±7.3ビット/分の高スループットITRを示す。増大したウィンドウ長では、全体正確度が、1.0秒では93.88±1.11%、1.2秒では95.03±0.97%、及び2.0秒では98.50±0.34%と大幅に増大する。
【0130】
図8Bはまた、電極位置の2つの構成(構成「A」824、構成「B」826)の評価の結果を示す。プロット822は、2つの電極配置間の分類正確度を比較した結果を示す。プロット(822)から、構成「A」は、評価された対象について、構成「B」よりも強い性能を実証したことが観察され得る。グラフ内のエラーバーは、平均の標準誤差を表す。構成「A」824では、2つのチャネルは各々、1つのそれぞれの半球にバイアスされる。構成「B」826では、全てのチャネルが、中央基準を共有する。
【0131】
本研究に基づいて、「セット2」のセットアップから学んだように、衝突を最小限に抑え、かつ不正確さを防ぐために、32個の一意の周波数の組み合わせを使用して、「セット3」の新しい刺激セットアップが、開発された。この刺激セットアップの詳細が、
図3Cに関連して説明される。
【0132】
ビット毎分で測定される情報転送速度(ITR)を使用して、BCI性能を評価することができる。ITRは、ターゲットの数、コマンドを中継するのに必要な平均時間、及び式1による分類正確度に基づいて、計算される。
【数1】
【0133】
式中、Nは、ターゲットの数であり、Aは、正確度であり、wは、データ取得時間に加えて、処理、分類、及び実行のレイテンシを含む、コマンドを実行するのに必要な合計時間である。
【0134】
CNN分類性能。CNNを訓練するために、刺激が提示された最初の時間に、試験データが、セグメント化された。各時間枠(0.8~1.2秒)について、第1の期間のみが使用され、残りは、廃棄された。セグメント化後、データが、2.0Hzのコーナー周波数を有する3次バターワースハイパスフィルタを使用して前処理された。データは、訓練及び分類で使用される前に、前処理されなかった。セット「1」及び「2」については、サンプル数Nが、クロスフォールド検証のために、10個のグループに細分割された。セット「3」については、より速いセットアップ時間のために、サンプル数Nが、4分割交差検証のための4つのグループに細分割された。分類は、空間畳み込みを有する畳み込みニューラルネットワーク(CNN)を使用して実施された(Bevilacqua et al.2014、Mahmood et al.2021、Ravi et al.2020、Waytowich et al.2018)。CNNについては、128個のサンプルのバッチサイズを使用し、訓練は、100エポックに対して実行されたか、又は10エポックで検証データの分類が改善されなかった場合、早期に中止された。最も成績の良い分類正確度を有する訓練されたネットワークが、リアルタイム分類で使用するために保存された。
【0135】
図8Cは、本研究で使用されたCNN分類器の分類性能の結果を示す。CNN分類器は、空間CNN分類を使用した。
図8Cに、空間CNNモデルの概要828が示されており、このモデルの様々な隠れ層、及び4チャネルEEG信号の1秒セグメントから抽出されたそれらの特徴を含んでいる。本研究では、8.2Hzの左刺激周波数、及び13.2Hzの右刺激周波数を有する刺激セットアップを使用した。
【0136】
本研究は、有線Ag/AgCl電極(Norton et al.2015)を用いた市販のセットアップ、及び例示的な無線軟質電子機器を使用する実験の2つのセットで実施された。両方のセットアップは、4つのEEGチャネル及び33個のクラスを使用した。従来のセットアップは、頭皮上のEEG信号を記録するために、有線の標準電極リードと、導電性ペーストとインターフェースされたAg/AgCl電極とを使用した。例示的な軟質電子システムは、例えば、
図2に関連して説明されるように、導電性ゲルなしのヘッドバンドを有する乾燥ニードル電極を使用した。
【0137】
プロット830及び832は各々、実験の2つのセットの性能結果を示す。プロット830は、分類正確度を示し、プロット832は、実験の2つのセットの各々の平均ITRを示す。4分割交差検証を使用して、市販のセットアップは、(それぞれプロット830及び832を介して)0.8秒のデータから74.72±3.03%の正確度を示した(ITR:222.4±15.0ビット/分)。より長い時間長さは、期待されたわずかに高い正確度を提供することが、観察された。対照的に、例示的な軟質電子システムは、(それぞれプロット830及び832を介して)それぞれ78.93±2.36%及び243.6±12.5ビット/分で、分類正確度及びITRの実質的増加を示した。全体として、本研究は、必要な皮膚調整及び有線電極を伴う従来のテザードシステムより優れる、乾燥電極を有する無線軟質プラットフォームを使用することの独特の利点を実証する。
【0138】
刺激周波数及び位相シフトの特性評価。
図8Dは、刺激周波数及び位相シフトの影響の評価の結果を示す。本研究は、従来のセットアップ及び例示的な軟質電子機器のセットアップを使用して実施された。プロット834は、視覚化された連続した刺激に対応する左眼及び右眼の周波数応答を示し、プロット836は、対応する左眼及び右眼の位相オフセットを示す。
【0139】
プロット838は、(9人の対象についての)33クラスのSEAS刺激についての軟質電子機器の結果から生成された混同行列を示す。プロット840は、従来のセットアップについての、同じ実験条件下での同じ結果を示す。単一周波数刺激の場合、混同のほとんどは、隣接する周波数からのものであることが観察され得る。対照的に、二重周波数刺激は、単一周波数刺激及び他の二重周波数刺激の両方との様々な混合を有する。この結果は、一方の眼又は他方の眼からの刺激が、視覚野の両方の半球で処理されることを示した。加えて、本研究はまた、分類が実行され得る有意な半球関連の非同期性及び混合が存在することを実証した。結果は、先行研究と比較して、わずか4つのEEGチャネルで、最も高いITRのうちの1つを高レベルで示す。
【0140】
図8Eは、例示的な軟質電子機器と先行研究との間の比較性能の表を示す。表に示されるように、例示的な軟質電子機器は、80%に近い正確度を有する、4つの電極チャネルを使用する33個の分類について、243.5ビット/分のITRを達成し得る。
【0141】
SSVEPの考察。閉じ込め症候群(LIS)は、まばたき及び眼球の動き以外の完全な麻痺の状態を表す(Padfield et al.2019)。ここで、脳活動及び認知機能は、通常影響を受けず、対象が、動くこともコミュニケーションすることもできないが、自分たちの意識及び環境に気付いている偽昏睡の状態をもたらす。正常な大脳皮質の活動にもかかわらず、対象は、典型的には下位脳及び脳幹の損傷に起因して、運動機能を制御することができない。以下に限定されないが、脳幹の脳卒中、外傷性脳損傷若しくは出血、中毒、又は薬物の過剰摂取を含む、ヒトにおけるLISのいくつかの原因がある。脳活動分析は、典型的には、罹患した個体の睡眠覚醒パターンを観察するために、脳波検査(EEG)などの器具を用いてLISを診断するために使用される。BCIの出現により、対象は、脳活動を監視することによって、コンピュータ又は補綴装置などのマシンを制御することによって、運動機能の要件を迂回することができる。BCIは、LIS又は四肢麻痺などの重度の身体障害を有する対象に見込みのある解決策を提供し、これらの固体の動き及びコミュニケーションを回復し、生活の質を改善する。BCIのためのEEG設計は、Bluetoothなどの一般的な無線プロトコルの標準化以来、無線機能を有するウェアラブルに向かう傾向がある(Lin et al.2010)。乾燥電極は、皮膚の調整、増幅器、シールド、及び電極の構成が適切であれば(Li et al.2017、Salvo et al.2012)、ゲルベースの電極と比較して優れた、一貫した長期性能を提供する(Norton et al.2015、Salvo et al.2012、Stauffer et al.2018)。最小限のケーブル配線を備えた軽量センサはまた、適切に構成されていない従来のEEGで、ドラッギング又は動きのアーチファクトを大幅に低減する(Tallgren et al.2005)。
【0142】
SSVEPを用いて、様々な周波数及び位相オフセットを有する最大40個の一意の刺激を、合理的な正確度で識別することができる(Nakanishi et al.2017)。経験的証拠は、SSVEP信号における著しい半球非対称性を示唆している(Martens and Hubner 2013、Wu 2016)。最近の研究で、2つの刺激が、代替位相(alternative phases)で点滅して使用されて、より効率的なSSVEP符号化を実証する、非対称高周波二重刺激SSVEPが、実証された(Yue et al.2020)。眼の感覚受容体と視覚野との間の接続の非対称性のために、各眼によって同時に見られる異なる刺激が、いずれかの半球で測れる程度に異なる脳活動を与えることが推測され得る(Richard et al.2018)。
【0143】
本開示の実施形態は、軟質生体電子システムを使用するポータブルVR対応型BCI、及びSSVEPを使用するSEASプラットフォームを含む。VRを使用して、非同期SSVEP刺激-異なる周波数を各眼に同時に提示することができる。全体的に、軟質ウェアラブル無線デバイスとともにVRを伴う新規な刺激を使用することで、高い正確度及び低い制御レイテンシを伴う33クラスの高スループットSSVEP BCIが可能になる。たった4つのチャネルを使用して、243.6±12.5ビット/分のピーク情報転送速度に対して、0.8秒間のデータについて78.93±1.05%の正確度が達成されることが観察された。高正確度モードでは、デバイスは、126.6±3.7ビット/分のスループットで、2秒間のデータについて91.73±0.68%を達成する。この性能は、フルキーボード型セットアップを使用するリアルタイムテキストスペラインターフェースを使用して実証される。
【0144】
本開示の例示的な実施形態が、本明細書においていくつかの例で詳細に説明されているが、他の実施形態が企図されることを理解されたい。したがって、以下の説明に記載されている、又は図面に示されている構成要素の構成及び配置の詳細に、本開示の範囲が限定されることは、意図されない。本発明は、他の実施形態が可能であり、かつ様々な方法で実践又は実施され得る。
【0145】
本明細書及び添付の特許請求の範囲で使用される場合、単数形「a」、「an」、及び「the」は、文脈が明示的に別様に示さない限り、複数の参照物を含むことに留意する必要がある。本明細書では、範囲が、「約」若しくは「5およそ」ある特定の値から、及び/又は「約」若しくは「およそ」別の特定の値までのように表現される場合がある。そのような範囲が表現される場合、他の例示的な実施形態は、ある特定の値から、及び/又は他の特定の値までを含む。
【0146】
「含む(comprising)」、又は「含む(containing)」、又は「含む(including)」とは、少なくともその名前の化合物、要素、粒子、又は方法ステップが、組成物、又は物品、又は方法内に存在するが、たとえ、他のそのような化合物、材料、粒子、方法ステップが、名前を挙げられたものと同じ機能を有するとしても、他の化合物、材料、粒子、方法ステップの存在を除外しないことを意味する。
【0147】
例示的な実施形態を説明する際には、用語は、わかりやすくするために用いられるであろう。各用語は、当業者によって理解されるように、その最も広範な意味を企図し、類似の目的を達成するために類似の方法で動作する全ての技術的同等物を含むことが意図される。また、方法の1つ以上のステップの言及は、追加の方法ステップ、又は明示的に識別されたそれらのステップの間に介在する方法ステップの存在を排除するものではないことも理解されるべきである。方法のステップは、本開示の範囲から逸脱することなく、本明細書に記載されるものとは異なる順序で実行され得る。同様に、デバイス又はシステム内の1つ以上の構成要素の言及は、追加の構成要素、又は明示的に識別されたそれらの構成要素の間に介在する構成要素の存在を排除しないことも理解されるべきである。
【0148】
本明細書で論じられる場合、「対象」は、生きているか若しくは死んでいる任意の適切なヒト、動物、若しくは他の生物、又は他の生物学的な若しくは分子の構造体、又は化学的環境であり得、対象の特定の構成要素、例えば、本明細書では「関心領域(area of interest)」又は「関心領域(region of interest)」と称される、対象の特定の組織又は流体(例えば、生きている対象の体の特定の領域内のヒト組織)に関連し得る。
【0149】
本明細書で論じられるように、対象は、ヒト又は任意の動物であり得ることを理解されたい。動物は、哺乳動物、獣医動物、家畜動物、又はペットタイプの動物などを含むがこれらに限定されない、様々な任意の適切な種類のものであり得ることを理解されたい。一例として、動物は、ヒトと同様の特定の特性を有するように具体的に選択された実験動物(例えば、ラット、イヌ、ブタ、サル)などであり得る。対象は、例えば、任意の適切なヒト患者であり得ることを理解されたい。
【0150】
本明細書で使用される場合、「約」という用語は、およそ、の領域内の、概略で、又は、の前後の、を意味する。「約」という用語が数値範囲とともに使用される場合、それは、記載された数値の上及び下の境界を拡張することによってその範囲を修正する。一般に、「約」という用語は、本明細書では、記載された値を10%の分散だけ上回る及び下回る数値を修飾するために使用される。一態様では、「約」という用語は、その用語が使用される数の数値の±10%を意味する。したがって、約50%は、45%~55%の範囲内であることを意味する。端点によって本明細書に列挙される数値範囲は、その範囲内に包含される全ての数値及び分数が含まれる(例えば、1~5は、1、1.5、2、2.75、3、3.90、4、4.24、及び5を含む)。
【0151】
同様に、端点によって本明細書に列挙される数値範囲は、その範囲内に包含されるサブ範囲を含む(例えば、1~5は、1~1.5、1.5~2、2~2.75、2.75~3、3~3.90、3.90~4、4~4.24、4.24~5、2~5、3~5、1~4、及び2~4を含む)。それらの全ての数及び分数は、用語「約」によって修飾されると推定されることも理解されるべきである。
【0152】
以下及び本明細書全体にわたって列挙される以下の特許、出願、及び刊行物は、それらの全体が、参照により本明細書に援用される。
[1]N.Padfield,J.Zabalza,H.Zhao,V.Masero,J.Ren,Sensors 2019,19,1423.
[2]A.Venkatakrishnan,G.E.Francisco,J.L.Contreras-Vidal,Current physical medicine and rehabilitation reports 2014,2,93.
[3]M.Mahmood,D.Mzurikwao,Y.-S.Kim,Y.Lee,S.Mishra,R.Herbert,A.Duarte,C.S.Ang,W.-H.Yeo,Nature Machine Intelligence 2019,1,412.
[4]Norton et al,“Soft,curved electrode systems capable of integration on the auricle as a persistent brain-computer interface,” Proceedings of the National Academy of Sciences 2015,112,3920.
[5]Herbert et al,“Soft Material-Enabled,Flexible Hybrid Electronics for Medicine,Healthcare,and Human-Machine Interfaces,” Advanced Materials 2020,32,1901924; W.-H.Yeo,Y.Lee,Journal of Nature and Science 2015,1,e132.
[6]Lin et al,“Review of Wireless and Wearable Electroencephalogram Systems and Brain-Computer Interfaces - A Mini-Review,” Gerontology 2010,56,112.
[6’]Tian et al,“Large-area MRI-compatible epidermal electronic interfaces for prosthetic control and cognitive monitoring,” Nature Biomedical Engineering 2019,3,194
[6”]Li et al,“Recent Developments on Graphene-Based Electrochemical Sensors toward Nitrite,” J.Wu,Y.Xia,Y.Wu,Y.Tian,J.Liu,D.Chen,Q.He,Journal of neural engineering 2020,17,026001.
[7]P.Salvo,R.Raedt,E.Carrette,D.Schaubroeck,J.Vanfleteren,L.Cardon,Sensors and Actuators A: Physical 2012,174,96.
[8]G.Li,S.Wang,Y.Y.Duan,Sensors and Actuators B: Chemical 2017,241,1244.
[9]F.Stauffer,M.Thielen,C.Sauter,S.Chardonnens,S.Bachmann,K.Tybrandt,C.Peters,C.Hierold,J.Voros,Adv Healthc Mater 2018,7,e1700994; M.A.Lopez-Gordo,D.Sanchez-Morillo,F.P.Valle,Sensors 2014,14,12847.
[10]D.Gao,K.Parida,P.S.Lee,Advanced Functional Materials 2020,30,1907184; H.Wu,G.Yang,K.Zhu,S.Liu,W.Guo,Z.Jiang,Z.Li,Advanced Science 2021,8,2001938.
[11]W.Guo,P.Zheng,X.Huang,H.Zhuo,Y.Wu,Z.Yin,Z.Li,H.Wu,ACS applied materials & interfaces 2019,11,8567.
[12]Z.Jiang,M.O.G.Nayeem,K.Fukuda,S.Ding,H.Jin,T.Yokota,D.Inoue,D.Hashizume,T.Someya,Advanced Materials 2019,31,1903446.
[13]R.Abiri,S.Borhani,E.W.Sellers,Y.Jiang,X.Zhao,Journal of neural engineering 2019,16,011001.
[14]G.Pfurtscheller,C.Neuper,D.Flotzinger,M.Pregenzer,Electroencephalography and clinical Neurophysiology 1997,103,642
[14’]X.Tang,W.Li,X.Li,W.Ma,X.Dang,Expert Systems with Applications 2020,149,113285.
[15]R.Zhang,Q.Zong,L.Dou,X.Zhao,Journal of neural engineering 2019,16,066004.
[16]V.Jurcak,D.Tsuzuki,I.Dan,Neuroimage 2007,34,1600.
[17]O.Olatunji,A.Denloye,Journal of Polymers and the Environment 2019,27,1252; A.Romgens,D.Bader,J.Bouwstra,F.Baaijens,C.Oomens,journal of the mechanical behavior of biomedical materials 2014,40,397.
[18]S.Russo,T.Ranzani,H.Liu,S.Nefti-Meziani,K.Althoefer,A.Menciassi,Soft robotics 2015,2,146
[18’]W.H.Yeo,Y.S.Kim,J.Lee,A.Ameen,L.Shi,M.Li,S.Wang,R.Ma,S.H.Jin,Z.Kang,Advanced materials 2013,25,2773.
[19]H.Yang,S.Sakhavi,K.K.Ang,C.Guan,IEEE Engineering in Medicine and Biology Society(EMBC)の2015年第37回年次国際会議で発表された“On the use of convolutional neural networks and augmented CSP features for multi-class motor imagery of EEG signals classification”,2015; S.Chaudhary,S.Taran,V.Bajaj,A.Sengur,IEEE Sensors Journal 2019,19,4494.
[20]Z.Tang,C.Li,S.Sun,Optik 2017,130,11.
[21]R.T.Schirrmeister,J.T.Springenberg,L.D.J.Fiederer,M.Glasstetter,K.Eggensperger,M.Tangermann,F.Hutter,W.Burgard,T.Ball,Human brain mapping 2017,38,5391.
[22]P.Welch,IEEE Transactions on audio and electroacoustics 1967,15,70.
[23]Y.-T.Kwon,H.Kim,M.Mahmood,Y.-S.Kim,C.Demolder,W.-H.Yeo,ACS Appl.Mater.Interfaces 2020,12,49398; Y.-T.Kwon,J.J.Norton,A.Cutrone,H.-R.Lim,S.Kwon,J.J.Choi,H.S.Kim,Y.C.Jang,J.R.Wolpaw,W.-H.Yeo,Biosens.Bioelectron.2020,165,112404.
[24]M.Abadi,P.Barham,J.Chen,Z.Chen,A.Davis,J.Dean,M.Devin,S.Ghemawat,G.Irving,M.Isard,第12回{USENIX}オペレーティングシステムの設計及び実装(operating systems design and implementation)に関するシンポジウム({OSDI} 16)で発表された“Tensorflow: A system for large-scale machine learning”,2016.
[25]Y.R.Tabar,U.Halici,Journal of neural engineering 2016,14,016003.
[26]N.Lu,T.Li,X.Ren,H.Miao,IEEE transactions on neural systems and rehabilitation engineering 2016,25,566.
[27]Z.Shi,F.Zheng,Z.Zhou,M.Li,Z.Fan,H.Ye,S.Zhang,T.Xiao,L.Chen,T.H.Tao,Y.-L.Sun,Y.Mao,Advanced Science 2019,6,1801617.
[28]Bevilacqua,V.,Tattoli,G.,Buongiorno,D.,Loconsole,C.,Leonardis,D.,Barsotti,M.,Frisoli,A.,Bergamasco,M.,2014.A novel BCI-SSVEP based approach for control of walking in virtual environment using a convolutional neural network.2014 International Joint Conference on Neural Networks (IJCNN),pp.4121-4128.IEEE.
[29]Chen,X.,Wang,Y.,Nakanishi,M.,Gao,X.,Jung,T.P.,Gao,S.,2015.High-speed spelling with a noninvasive brain-computer interface.Proc Natl Acad Sci U S A 112(44),E6058-6067.
[30]Kwak,N.S.,Muller,K.R.,Lee,S.W.,2017.A convolutional neural network for steady state visual evoked potential classification under ambulatory environment.PLoS One 12(2),e0172578.
[31]Li,G.,Wang,S.,Duan,Y.Y.,2017.Towards gel-free electrodes: A systematic study of electrode-skin impedance.Sensors and Actuators B: Chemical 241,1244-1255.
[32]Lin,C.T.,Ko,L.W.,Chang,M.H.,Duann,J.R.,Chen,J.Y.,Su,T.P.,Jung,T.P.,2010.Review of wireless and wearable electroencephalogram systems and brain-computer interfaces--a mini-review.Gerontology 56(1),112-119.
[33]Mahmood,M.,Kwon,S.,Kim,Y.-S.,Siriaraya,P.,Choi,J.,Boris,O.,Kang,K.,Jun Yu,K.,Jang,Y.C.,Ang,C.S.,2021.Wireless Soft Scalp Electronics and Virtual Reality System for Motor Imagery-based Brain-Machine Interfaces.Advanced Science.
[34]Mahmood,M.,Mzurikwao,D.,Kim,Y.-S.,Lee,Y.,Mishra,S.,Herbert,R.,Duarte,A.,Ang,C.S.,Yeo,W.-H.,2019.Fully portable and wireless universal brain-machine interfaces enabled by flexible scalp electronics and deep learning algorithm.Nature Machine Intelligence 1(9),412-422.
[35]Martens,U.,Hubner,R.,2013.Functional hemispheric asymmetries of global/local processing mirrored by the steady-state visual evoked potential.Brain and cognition 81(2),161-166.
[36]Nakanishi,M.,Wang,Y.,Chen,X.,Wang,Y.-T.,Gao,X.,Jung,T.-P.,2017.Enhancing detection of SSVEPs for a high-speed brain speller using task-related component analysis.IEEE Transactions on Biomedical Engineering 65(1),104-112.
[37]Norton,J.J.S.,Lee,D.S.,Lee,J.W.,Lee,W.,Kwon,O.,Won,P.,Jung,S.-Y.,Cheng,H.,Jeong,J.-W.,Akce,A.,Umunna,S.,Na,I.,Kwon,Y.H.,Wang,X.-Q.,Liu,Z.,Paik,U.,Huang,Y.,Bretl,T.,Yeo,W.-H.,Rogers,J.A.,2015.Soft,curved electrode systems capable of integration on the auricle as a persistent brain-computer interface.Proceedings of the National Academy of Sciences 112(13),3920-3925.
[38]Padfield,N.,Zabalza,J.,Zhao,H.,Masero,V.,Ren,J.,2019.EEG-based brain-computer interfaces using motor-imagery: Techniques and challenges.Sensors 19(6),1423.
[39]Ravi,A.,Beni,N.H.,Manuel,J.,Jiang,N.,2020.Comparing user-dependent and user-independent training of CNN for SSVEP BCI.Journal of neural engineering 17(2),026028.
[40]Richard,B.,Chadnova,E.,Baker,D.H.,2018.Binocular vision adaptively suppresses delayed monocular signals.NeuroImage 172,753-765.
[41]Rodeheaver,N.,Herbert,R.,Kim,Y.S.,Mahmood,M.,Kim,H.,Jeong,J.W.,Yeo,W.H.,2021.Strain-Isolating Materials and Interfacial Physics for Soft Wearable Bioelectronics and Wireless,Motion Artifact-Controlled Health Monitoring.Advanced Functional Materials 31(36),2104070.
[42]Rodeheaver,N.,Kim,H.,Herbert,R.,Seo,H.,Yeo,W.-H.,2022.Breathable,Wireless,Thin-Film Wearable Biopatch Using Noise-Reduction Mechanisms.ACS Applied Electronic Materials.
[43]Salvo,P.,Raedt,R.,Carrette,E.,Schaubroeck,D.,Vanfleteren,J.,Cardon,L.,2012.A 3D printed dry electrode for ECG/EEG recording.Sensors and Actuators A: Physical 174,96-102.
[44]Stauffer,F.,Thielen,M.,Sauter,C.,Chardonnens,S.,Bachmann,S.,Tybrandt,K.,Peters,C.,Hierold,C.,Voros,J.,2018.Skin Conformal Polymer Electrodes for Clinical ECG and EEG Recordings.Adv Healthc Mater 7(7),e1700994.
[45]Tallgren,P.,Vanhatalo,S.,Kaila,K.,Voipio,J.,2005.Evaluation of commercially available electrodes and gels for recording of slow EEG potentials.Clin Neurophysiol 116(4),799-806.
[46]Volosyak,I.,2011.SSVEP-based Bremen-BCI interface--boosting information transfer rates.J Neural Eng 8(3),036020.
[47]Wang,Y.,Wang,Y.T.,Jung,T.P.,2010.Visual stimulus design for high-rate SSVEP BCI.Electronics Letters 46(15).
[48]Waytowich,N.,Lawhern,V.J.,Garcia,J.O.,Cummings,J.,Faller,J.,Sajda,P.,Vettel,J.M.,2018.Compact convolutional neural networks for classification of asynchronous steady-state visual evoked potentials.Journal of neural engineering 15(6),066031.
[49]Wu,Z.,2016.Physical connections between different SSVEP neural networks.Scientific reports 6(1),1-9.
[50]Xiao,C.,Chiang,K.-J.,Nakanishi,M.,Jung,T.-P.,2021.A Comparison Study of Single-and Multiple-Target Stimulation Methods for Eliciting Steady-State Visual Evoked Potentials.2021 10th International IEEE/EMBS Conference on Neural Engineering (NER),pp.698-701.IEEE.
[51]Xing,X.,Wang,Y.,Pei,W.,Guo,X.,Liu,Z.,Wang,F.,Ming,G.,Zhao,H.,Gui,Q.,Chen,H.,2018.A high-speed SSVEP-based BCI using dry EEG electrodes.Scientific reports 8(1),1-10.
[52]Yue,L.,Xiao,X.,Xu,M.,Chen,L.,Wang,Y.,Jung,T.-P.,Ming,D.,2020.A brain-computer interface based on high-frequency steady-state asymmetric visual evoked potentials.2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC),pp.3090-3093.IEEE.
[53]Zavanelli,N.,Kim,H.,Kim,J.,Herbert,R.,Mahmood,M.,Kim,Y.-S.,Kwon,S.,Bolus,N.B.,Torstrick,F.B.,Lee,C.S.,2021.At-home wireless monitoring of acute hemodynamic disturbances to detect sleep apnea and sleep stages via a soft sternal patch.Science advances 7(52),eabl4146.
【国際調査報告】