IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トーマス・ジェファーソン・ユニバーシティの特許一覧

特表2023-537835運動機能促進のためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-06
(54)【発明の名称】運動機能促進のためのシステムおよび方法
(51)【国際特許分類】
   A61B 5/00 20060101AFI20230830BHJP
   A61N 1/36 20060101ALI20230830BHJP
【FI】
A61B5/00 G
A61N1/36
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023501129
(86)(22)【出願日】2021-07-09
(85)【翻訳文提出日】2023-03-01
(86)【国際出願番号】 US2021041087
(87)【国際公開番号】W WO2022011260
(87)【国際公開日】2022-01-13
(31)【優先権主張番号】63/049,754
(32)【優先日】2020-07-09
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
2.ZIGBEE
3.MATLAB
4.PYTHON
5.WINDOWS
(71)【出願人】
【識別番号】516241599
【氏名又は名称】トーマス・ジェファーソン・ユニバーシティ
(74)【代理人】
【識別番号】100102978
【弁理士】
【氏名又は名称】清水 初志
(74)【代理人】
【識別番号】100160923
【弁理士】
【氏名又は名称】山口 裕孝
(74)【代理人】
【識別番号】100119507
【弁理士】
【氏名又は名称】刑部 俊
(74)【代理人】
【識別番号】100142929
【弁理士】
【氏名又は名称】井上 隆一
(74)【代理人】
【識別番号】100148699
【弁理士】
【氏名又は名称】佐藤 利光
(74)【代理人】
【識別番号】100188433
【弁理士】
【氏名又は名称】梅村 幸輔
(74)【代理人】
【識別番号】100128048
【弁理士】
【氏名又は名称】新見 浩一
(74)【代理人】
【識別番号】100129506
【弁理士】
【氏名又は名称】小林 智彦
(74)【代理人】
【識別番号】100205707
【弁理士】
【氏名又は名称】小寺 秀紀
(74)【代理人】
【識別番号】100114340
【弁理士】
【氏名又は名称】大関 雅人
(74)【代理人】
【識別番号】100214396
【弁理士】
【氏名又は名称】塩田 真紀
(74)【代理人】
【識別番号】100121072
【弁理士】
【氏名又は名称】川本 和弥
(72)【発明者】
【氏名】セルーヤ ミハイル デミアン
(72)【発明者】
【氏名】ナポリ アレッサンドロ
【テーマコード(参考)】
4C053
4C117
【Fターム(参考)】
4C053JJ03
4C053JJ04
4C053JJ18
4C053JJ24
4C117XA04
4C117XB20
4C117XC11
4C117XC21
4C117XD01
4C117XD06
4C117XD16
4C117XE03
4C117XE13
4C117XE17
4C117XE20
4C117XE23
4C117XE26
4C117XE28
4C117XE30
4C117XE43
4C117XE48
4C117XG05
4C117XG15
4C117XG20
4C117XQ13
(57)【要約】
運動機能の促進のためのシステムおよび方法が、本明細書に記載される。一局面では、患者の動きの始動補助のためのコンピュータ実装方法は、神経センサのセットから神経シグナルのセットを受信する段階、神経シグナルのセットから特徴のセットを抽出する段階、特徴のセットを分類モデルに入力する段階、ユーザの試みた活動を分類モデルから決定する段階、ならびに試みた活動および神経シグナルのセットに従って刺激シグナルのセットを1つまたは複数の出力効果器に伝送する段階を含むことができる。
【特許請求の範囲】
【請求項1】
神経センサのセットから神経シグナルのセットを受信する段階、
神経シグナルのセットから特徴のセットを抽出する段階、
特徴のセットを分類モデルに入力する段階、
ユーザの試みた活動を分類モデルから決定する段階、ならびに
試みた活動および神経シグナルのセットに従って刺激シグナルのセットを1つまたは複数の出力効果器に伝送する段階
を含む、患者の動きの始動補助のためのコンピュータ実装方法。
【請求項2】
分類モデルを訓練する段階をさらに含み、
該訓練する段階が、
神経センサのセットから訓練神経シグナルのセットを受信することと、
トレーナーによって行われたアクションを示す入力を、受信することと、
訓練神経シグナルのセットから訓練特徴のセットを抽出することと、
訓練特徴のセットを指示的アクションにマッピングすることと
を含む、
請求項1記載のコンピュータ実装方法。
【請求項3】
分類モデルを訓練する段階が、マッピングから特徴量閾値を決定することをさらに含み、ユーザの試みた活動が、特徴量閾値に達している特徴のセットのうちの特徴からさらに決定される、請求項2記載のコンピュータ実装方法。
【請求項4】
トレーナーが、ユーザ、理学療法の提供者、作業療法の提供者、またはそれらの組み合わせを含む、請求項2記載のコンピュータ実装方法。
【請求項5】
神経シグナルのセットとユーザの試みた活動との比例値のセットを特定する段階、および
比例値のセットに従って刺激シグナルのセットを生成する段階
をさらに含む、請求項1記載のコンピュータ実装方法。
【請求項6】
比例値のセットを特定する段階が、多層パーセプトロンネットワーク、畳み込みニューラルネットワーク、遺伝的アルゴリズム、バイナリ粒子群最適化プロセス、敵対的生成ネットワーク、多項式および放射基底カーネルのサポートベクターマシン、カルマンフィルタ、一般化線形混合モデル、粒子フィルタ、ランダムフォレストアルゴリズム、ローテーションフォレストアルゴリズム、またはそれらの組み合わせを介してもたらされる、請求項5記載のコンピュータ実装方法。
【請求項7】
受信された神経シグナルから活動化パターンを特定する段階をさらに含み、前記試みた活動を決定する段階が、特定された活動化パターンに従う、請求項1記載のコンピュータ実装方法。
【請求項8】
特徴のセットに従って分類モデルを改変する段階をさらに含む、請求項1記載のコンピュータ実装方法。
【請求項9】
神経シグナルのセットが、頭皮EEG、帽状腱膜下EEG、骨内EEG、硬膜外EEG、硬膜下EEG、皮質内LFP、深部EEG、シングルユニット記録、心拍数、心拍変動、呼吸数、電気皮膚コンダクタンス、血糖値、瞳孔径、眼球外図(extraoculogram)、筋電図、ユーザ身体部分の位置決め、ユーザの運動学的および動力学的シグナル、音声シグナル、キーボードエントリ、マウスのクリック、ジョイスティックの使用、またはそれらの組み合わせを含む、請求項1記載のコンピュータ実装方法。
【請求項10】
出力効果器が、電気接点のセット、電気式補装具、脳コンピュータインターフェース、またはそれらの組み合わせを含む、請求項1記載のコンピュータ実装方法。
【請求項11】
ユーザから脳シグナルのセットを受信し、
脳シグナルのセットをデジタル化し、かつ
デジタル化された脳シグナルをバッファに格納する
ように構成された、神経シグナルプロセッサと;
デジタル化された脳シグナルをバッファから検索し、
デジタル化された脳シグナルから、スパイクカウントのセット、局所フィールド電位(LFP)、またはそれらの組み合わせを特定し、
スパイクカウントのセットおよびLFPから特徴のセットを抽出し、
特徴のセットを分類モデルに入力し、
ユーザの試みた運動の動きを分類モデルから特定し、
試みた運動の動きに従って運動制御コマンドを生成し、かつ
運動制御コマンドを伝送する
ように構成された、神経シグナルアナライザと;
運動制御コマンドを受信し、かつ
運動制御コマンドに従って、対応する運動の動きを生成する
ように構成された、リハビリテーション補装具と
を含む、システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、その全体が参照により本明細書に組み入れられる、2020年7月9日に出願された米国仮特許出願第63/049,754号に対する優先権を主張する。
【背景技術】
【0002】
発明の背景
従来の理学療法技術は、患者と療法士との幅広い対面のインタラクションを必要とする。例えば療法士は、ある特定の動きをどのように行うかを患者に命令し、患者は、動きを行うのを試み、療法士は、評価(例えば、動きをどのようにより良く行うか)で応じる。このインタラクションは反復され、患者の身体状態が変化するにつれ、療法士の命令は、患者の状態に適応するように変更される。
【0003】
自動支援リハビリテーションシステムおよび技術は初期段階にあるものの、これらのシステムおよび技術は、類似の問題に苦しんでいる。例えば、患者はリハビリテーションシステムをオフサイトで利用できる一方で、療法士またはシステムマネージャにデータを提供するために定期的にオンサイトに戻らなければならない。その後で、療法士またはシステムマネージャは、患者の必要性に従ってシステムを較正することができる。
【0004】
さらに、従来のリハビリテーションシステムおよび技術は、患者の動きのいくつかの様式を特定できない。一部の患者は、伝統的に動きを始動させる能力を失っている場合がある。とはいえ患者は、動きの試みの間に患者によって開始され得る動きの二次様式を依然として保持している場合があるが、この二次様式はそれ自体、動きを実際に行うには不十分である。
【発明の概要】
【0005】
概要
運動機能の促進のためのシステムおよび方法が、本明細書に記載されている。一局面では、患者の動きの始動補助のためのコンピュータ実装方法は、神経センサのセットから神経シグナルのセットを受信する段階、神経シグナルのセットから特徴のセットを抽出する段階、特徴のセットを分類モデルに入力する段階、ユーザの試みた活動を分類モデルから決定する段階、ならびに試みた活動および神経シグナルのセットに従って刺激シグナルのセットを1つまたは複数の出力効果器に伝送する段階を含むことができる。
【0006】
この局面は、多様な態様を含むことができる。一態様では、コンピュータ実装方法は、分類モデルを訓練する段階をさらに含むことができ、訓練する段階は、神経センサのセットから訓練神経シグナルのセットを受信することと、トレーナーによって行われたアクションを示す入力を、受信することと、訓練神経シグナルのセットから訓練特徴のセットを抽出することと、訓練特徴のセットを指示的アクションにマッピングすることとを含む。
【0007】
場合によっては、分類モデルを訓練する段階は、マッピングから特徴量閾値を決定することをさらに含み、ユーザの試みた活動が、特徴量閾値に達している特徴のセットのうちの特徴からさらに決定される。場合によっては、トレーナーは、ユーザ、理学療法の提供者、作業療法の提供者、またはそれらの組み合わせを含むことができる。
【0008】
別の態様では、コンピュータ実装方法は、神経シグナルのセットとユーザの試みた活動との比例値のセットを特定する段階、および比例値のセットに従って刺激シグナルのセットを生成する段階をさらに含むことができる。
【0009】
場合によっては、比例値のセットを特定する段階は、多層パーセプトロンネットワーク、畳み込みニューラルネットワーク、遺伝的アルゴリズム、バイナリ粒子群最適化プロセス、敵対的生成ネットワーク、多項式および放射基底カーネルのサポートベクターマシン、カルマンフィルタ、一般化線形混合モデル、粒子フィルタ、ランダムフォレストアルゴリズム、ローテーションフォレストアルゴリズム、またはそれらの組み合わせを介してもたらされる。
【0010】
別の態様では、コンピュータ実装方法は、受信された神経シグナルから活動化パターンを特定する段階をさらに含むことができ、試みた活動を決定する段階は、特定された活動化パターンに従う。
【0011】
別の態様では、コンピュータ実装方法は、特徴のセットに従って分類モデルを改変する段階をさらに含むことができる。
【0012】
別の態様では、神経シグナルのセットは、頭皮EEG、帽状腱膜下EEG、骨内EEG、硬膜外EEG、硬膜下EEG、皮質内LFP、深部EEG、シングルユニット記録、心拍数、心拍変動、呼吸数、電気皮膚コンダクタンス、血糖値、瞳孔径、眼球外図(extraoculogram)、筋電図、ユーザ身体部分の位置決め、ユーザの運動学的および動力学的シグナル、音声シグナル、キーボードエントリ、マウスのクリック、ジョイスティックの使用、またはそれらの組み合わせを含むことができる。
【0013】
別の態様では、出力効果器は、電気接点のセット、電気式補装具、脳コンピュータインターフェース、またはそれらの組み合わせを含むことができる。
【0014】
別の局面では、システムは、ユーザから脳シグナルのセットを受信し、脳シグナルのセットをデジタル化し、かつデジタル化された脳シグナルをバッファに格納するように構成された、神経シグナルプロセッサと;デジタル化された脳シグナルをバッファから検索し、デジタル化された脳シグナルから、スパイクカウントのセット、局所フィールド電位(LFP)、またはそれらの組み合わせを特定し、スパイクカウントのセットおよびLFPから特徴のセットを抽出し、特徴のセットを分類モデルに入力し、ユーザの試みた運動の動きを分類モデルから特定し、試みた運動の動きに従って運動制御コマンドを生成し、かつ運動制御コマンドを伝送するように構成された、神経シグナルアナライザと;運動制御コマンドを受信し、かつ運動制御コマンドに従って、対応する運動の動きを生成するように構成された、リハビリテーション補装具とを含むことができる。
【図面の簡単な説明】
【0015】
本発明の性質および所望の目的をより十分に理解するために、添付の図面と共に考慮される以下の詳細な説明が参照され、同じ参照符号は、いくつかの図にわたり対応する部分を意味する。
【0016】
図1】本開示の態様に従う運動機能の促進のためのシステムを示す。
図2】本開示の態様に従う運動機能の促進のためのワークフロープロセスを示す。
図3】本開示の態様に従う運動機能の促進のためのワークフロープロセスを示す。
図4】本開示の態様に従う運動機能の促進のためのワークフロープロセスを示す。
図5】本開示の態様に従う運動機能促進システムのためのグラフィカルユーザインターフェースを示す。
図6】本開示の態様に従う運動機能促進システムのためのグラフィカルユーザインターフェースを示す。
図7】本開示の態様に従う運動機能促進システムの受信された電子入力シグナルからの高速フーリエ変換(FFT)の結果を示す。
図8】本開示の態様による仮想腕現実腕オペレータのためのグラフィカルユーザインターフェースを示す。
図9】本開示の態様による仮想腕現実腕オペレータのためのグラフィカルユーザインターフェースを示す。
図10】本開示の態様に従う運動機能促進システムの高レベル全体像を示す。
図11】本開示の態様に従う運動機能促進システムのためのシステムアーキテクチャを示す。
図12】本開示の態様に従う運動機能促進システムのためのシステムアーキテクチャを示す。
図13】本開示の態様に従う運動機能促進システムのためのソフトウェアアーキテクチャを示す。
図14】本開示の態様に従う運動機能促進システムのためのソフトウェアアーキテクチャを示す。
図15】本開示の態様に従う運動機能促進システムのためのソフトウェアアーキテクチャを示す。
図16】本開示の態様に従うワイヤレスコントローラモジュールのためのソフトウェアアーキテクチャを示す。
図17】本開示の態様に従う運動機能促進システムのためのソフトウェアアーキテクチャを示す。
図18】本開示の態様に従う運動機能促進システムのためのソフトウェアアーキテクチャを示す。
図19】本開示の態様に従う運動機能促進システムのためのソフトウェアアーキテクチャを示す。
図20】本開示の態様に従う運動機能促進システムのためのソフトウェアアーキテクチャを示す。
図21】本開示の態様に従う運動機能促進システムのためのソフトウェアアーキテクチャを示す。
図22】本開示の態様に従う運動機能促進システムのためのソフトウェアアーキテクチャを示す。
図23】本開示の態様に従う運動機能促進システムのためのソフトウェアアーキテクチャを示す。
図24】本開示の態様に従う運動機能促進システムのための物理層アーキテクチャを示す。
図25】本開示の態様に従う運動機能促進システムを示す。
図26】本開示の態様に従う運動機能促進システムを示す。
図27】本開示の態様による運動機能促進システムを実装する臨床試験タイムラインを示す。
図28】本開示の態様に従う運動機能促進システムを示す。
図29】臨床試験に参加している患者についての神経イメージング結果を示す。結果は、急性脳卒中が起こったときの拡散シーケンスを示す。右レンズ核および近接する白質で拡散制限が著明である(パネル(a))。2年後のT2強調MRIは、脳軟化および相対的脳室拡大の領域を示している(パネル(b))。脳機能イメージングによって、中心前回のハンドノブ(hand knob)野に沿って中心溝の深さに活動化のホットスポットが明らかとなった(円で示す)(パネル(c))。左手の活動の動き重心(円で示す)をイメージングしたMRIから導出された参加者の皮質表面の三次元再構成(パネル(d))。シェーディングは、左手の知覚刺激に応答する領域を示す。四角は、微小電極アレイを示す。
図30】本開示の態様に従う、参加患者から記録された活動電位の波形を示す。
図31】麻痺肢において行われた動きと関連付けたニューロン活動を示す。参加者に一連の左肢の動き(横座標に記載)を110秒にわたり行うよう求めた。言葉の動きの命令をハッシュマークによって示す。ラスターは各活動電位の時間を示す。各ラスターのもと、「漏洩積分器」の式によって導出された正規化積分発火率が出現する;表示した期間にわたり各ユニットのスパイク列からの最大積分発火率で割ることによって正規化を達成した。上のユニット(チャネル61)は、下の同様に記録されたユニット(チャネル62)と比べて、手関節伸展よりも手圧迫に対して活動性であった。参加者はすべての動きを行った。このようなモーションは労作を必要とし、参加者は、キュー毎に一貫した活動レベルに関与することができず、変わりやすい反応時間を示した。参加者は疲労しやすく、参加者は休憩して姿勢を整える必要があった。
図32】関節位置により変動する、チャネルにわたる累積積分スパイク活動(上のグラフ)および残存する左前腕筋電活動(下のグラフ)を示す。チャネルにわたる、漏洩積分器を通過するスパイク活動の合計は、左上肢での特定の残存活動により変動するように見えた。近位の残存活動は正常に見えるパターンを生成した。下のパネルの290~310秒に見られるように、二頭筋および三頭筋活動が交互に出現する。しかし、上肢遠位部では、手関節屈筋および手関節伸筋活動が異常な相乗作用で一緒に起こる傾向がある。また、手関節屈筋活動は、二頭筋活動と異常に相乗的である(異常な屈筋相乗作用)。チャネルにわたる合計積分スパイク活動は、手関節屈筋活動と共変動するように見える。
【発明を実施するための形態】
【0017】
定義
本発明は、以下の定義を参照して最も明らかに理解される。
【0018】
本明細書に使用される場合の単数形「1つの(a)」、「1つの(an)」、および「その(the)」は、文脈がそうでないことを明確に示さないかぎり、複数の参照を含む。
【0019】
具体的に述べられないかぎりまたは文脈から明らかでないかぎり、本明細書に使用される場合の用語「約」は、当技術分野における通常の許容範囲内、例えば平均から2標準偏差内であると理解される。「約」は、表示値の10%、9%、8%、7%、6%、5%、4%、3%、2%、1%、0.5%、0.1%、0.05%、または0.01%以内であると理解することができる。文脈から明らかでないかぎり、本明細書に提供されるすべての数値は、約という用語で修飾されている。
【0020】
本明細書および特許請求の範囲に使用される場合の用語「含む(comprises)」、「含んでいる(comprising)」、「含有している」、「有している」、その他は、米国特許法においてこれらの用語のものとされている意味を有することができ、「含む(includes)」、「含んでいる(including)」、その他を意味することができる。
【0021】
具体的に述べられないかぎりまたは文脈から明らかでないかぎり、本明細書に使用される場合の用語「または」は、包括的であると理解される。
【0022】
本明細書に提供される範囲は、その範囲内の値のすべてについての略記であると理解される。例えば、1~50の範囲は、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30、31、32、33、34、35、36、37、38、39、40、41、42、43、44、45、46、47、48、49、または50(のみならず、文脈がそうでないことを明確に示さないかぎり、それらの小数部)からなる群からの任意の数、数の組み合わせ、または部分範囲を含むと理解される。
【0023】
発明の詳細な説明
運動機能促進システム
運動機能促進システムは、モジュールコンポーネント、ソフトウェア、および較正プロトコルを有する運動機能装置を含むことができる。運動機能促進システムは、神経疾患または傷害が原因の脱力または麻痺を有する成人および小児における手、腕、体幹および脚の独立した随意運動を回復させるために使用することができる。
【0024】
運動機能促進システムのソフトウェア基盤および較正アプローチは、神経疾患および傷害が原因の認知障害を有する人々のためのリハビリテーションおよび日常的機能補助を含む他の種類の治療に;認知行動療法、弁証法的行動療法、マインドフルネス療法、および催眠療法の原理を組み入れることによる精神疾患の治療の補助として;ならびに整形外科的または心臓手術後リハビリテーションのためなどの、長期または遠隔医療媒介フォローアップの価値がある非神経学的状態のための治療に、拡張することができる。
【0025】
運動機能促進システムは、脊髄傷害、脳卒中、ALS、TBI、MS、筋ジストロフィー、ニューロパチー、横断性脊髄炎、腕神経叢傷害、切断、腫瘍切除が原因の麻痺もしくは不全麻痺もしくは協調運動障害のような、または自閉症スペクトラム、アルツハイマー病、TBI、脳卒中、パーキンソン、DLB、FTD、MSA、PSP、CBD、PPA、MS、CP、染色体異常、その他が原因の認知障害のような、神経疾患および傷害を有する成人および小児を治療するために設計された医療機器として展開することができる。さらに、運動機能促進システムはまた、癌または自己免疫状態のための化学療法、心血管状態または手術からの回復、および整形外科的介入のように、非神経学的状態が原因の脱力、無関心、易疲労性または他の症状を有する小児および成人のためのリハビリテーション、機能回復または両者の一部として使用することができる。
【0026】
運動機能促進システムは、新規な入力デバイスを提供するための健常者用の消費者製品として、軍事もしくは産業状況でのパフォーマンスを高めるために、運動競技技能の洗練のために、またはエンターテイメントのために展開することができる。加えて、システムのソフトウェアおよび較正プロトコルは、電話、コンピュータおよび他のデバイスの制御を提供するためのみならず、身体健全な小児および成人のための(例えば、メカニカルセンサ、電磁センサおよび他のウェアラブルセンサを介した)テキストエントリ、通信および生産性のために使用することができる。
【0027】
運動機能促進システムは、以下:
1)ユーザの必要に応じる;
2)ユーザの機能目的を達成する;
3)デバイスの使用/組み込みおよび技術におけるユーザの好み(例えば、その人物がコンポーネントを常に装着したいかまたは特定の状況でのみ装着したいかなど)を組み入れる;
4)経時的な使用により達成されたアウトカムによって情報を与えられる、複雑さの漸進的調整を組み入れる
ための、デバイスおよびツールの最適なネットワークを含むことができる。
【0028】
運動機能促進システムの重要な技術革新は、静的デバイスよりもむしろサービスとして機能できることである。この意味で運動機能促進システムは、ユーザの必要に絶えず応答し、ユーザの能力および目標に変化を組み入れている、互換性モジュールコンポーネントを用いた「生活サービス」であることができる。運動機能促進システムは、複数の神経調節デバイス、センサおよびソフトウェアツールの組み込みを可能にする、スケーラブルでフレキシブルなプラットフォームであることができる。
【0029】
運動機能促進システムのソフトウェアは、最適なリハビリテーション/補助結果を達成することを目標に、市販のデバイスおよびセンサのネットワークを管理、制御および操作することができる。さらに、運動機能促進システムは、患者特異的な生理学的シグナルを感知すること、およびこれらを使用して患者特異的な神経調節ツールのネットワークへの最適な制御および活動化コマンドを生成することが可能な、モジュール型のフレキシブルで、スケーラブルで、拡張可能なクローズドループシステムであることができる。図3は、運動機能促進システムによって実装される特徴最適化および分類最適化プロセスのためのワークフローを示す。運動機能促進システムは、医療および患者の必要に基づいて高度にカスタマイズ可能であることができる。運動機能促進システムを、自宅での遠隔健康サポートを含む複数の設定で使用することができる。自宅での使用を促進するために、運動機能促進システムのソフトウェアは、患者特異的ユーザインターフェース(UI)を特徴として備えることができる。このUIは、個別の神経調節デバイスの設定を変化させる必要なしに、必要な毎日の調整およびタスク特異的調整(パラメータの設定および刺激の種類および用量)を提供することができる。
【0030】
コンポーネント
運動機能促進システムは、いくつかの補助アクチュエータ、電気刺激装置、および/または電気シグナルセンサを含むことができる。例えば、運動機能促進システムは、システム内に以下の例のウェアラブル動力デバイスを含む、または組み込むことができる:OmniHi5(商標)、Myomo(登録商標)、およびMyoPro(商標)モータ付き装具;MyndMove(商標)などの上肢リハビリテーション/フィードバックシステム;WalkeAide(登録商標)などの下肢機能システム;SuiteX(商標)およびEkso(登録商標)などの全身エクソスケルトン;Myolyn(登録商標)およびMyoCycle(商標)などの下肢リハビリテーションおよび機能的モビリティシステム;Empi(商標)ポータブル神経筋電気刺激装置;Cyclone XciteポータブルマルチチャネルFES療法システム;Zynex Medical Neuromove;Bioness、L300、L300 PlusおよびH200システム;Saebo MyoTrac Infinitiバイオフィードバック電気刺激装置、その他。
【0031】
ソフトウェア環境およびグラフィカルユーザインターフェース
運動機能促進システムは、ユーザパフォーマンストラッキングシステムと相互接続することができ、カレンダー、アラーム、eメール、リマインダ、薬物療法管理、その他などのソフトウェアアプリケーションプログラム(アプリ)とリンクすることができる。運動機能促進システムのソフトウェアは、特定のユーザに関する情報、例えば病歴、学歴、および運動検査、神経心理学的検査または他の検査などの以前の検査結果のエントリを提供することができる。ソフトウェアは、特定のタスクに関するノーマティブデータベースおよびユーザの以前のベースラインにアクセスして、使用毎または較正毎ベースでパフォーマンスの標準偏差および他のスコアリングを生成することができる。ソフトウェアは、ディスプレイ画面、例えば画面左側または全体のいずれかに視覚情報(例えば、画像、ビデオ、その他)を表示することができる。場合によっては、対応するテキストも(例えば、画面の右側に)表示することができ、コンピュータまたはモバイルデバイスのスピーカで音声(例えば、声命令)を再生することができる。
【0032】
図1は、特許請求された発明の態様に従う運動機能促進システムを示す。システムは、マネージャスイート105含むことができる。マネージャスイート1~5は、感知された電気データ、入力された設定パラメータ、および入力/出力コンポーネントを有するBluetoothワイヤレスコントローラ130についての作動特徴などの他の作動特徴を受信することができる。場合によっては、ワイヤレスコントローラは、Zigbee、その他のようなワイヤレス遠隔通信プロトコルにより実装することができる。
【0033】
システムはまた、様々な電気データセンサ(例えば、神経活動110、生理学的シグナル115、電気刺激125、手装具135、計装グローブ145、腕リハビリテーションユニット140、その他を伝送するもの)を含むことができる。場合によっては、センサは、マイクロコントローラおよびシグナル取得と一緒に、ユーザのためのウェアラブル(例えば、長時間または間欠ウェアラブル)センサを含むことができる。電池が、センサ、コントローラ、ワイヤレスコンポーネントおよびモータに電力を供給することができる。
【0034】
システム内のいくつかのユニットは、出力効果器としても作用することができる。例えば、腕リハビリテーションユニット140、計装グローブ145、手装具135、その他は、ユーザに(例えば、マネージャスイート105を介して)電気シグナルを伝送することもできる。
【0035】
入力源
図2は、特許請求された本発明の態様に従う例示的な運動機能促進システム(例えば、FREEDOMシステム)を示す。このシステムは、ウェアラブルまたは埋め込みセンサ(例えば、センサネットワーク205)を含むことができる。ウェアラブルまたは埋め込みセンサは、電気神経センサ(例えば、低インピーダンスEEG、個々のワイヤとしてのまたはアレイ状の高インピーダンス微小電極、生体構築物;頭皮、帽状腱膜下、骨内、硬膜外、硬膜下、皮質内または深部位置、その他にセンサを有する)、電気心血管センサ(心拍数または心拍変動についてのECG)、神経筋センサ(EMG)、機械スイッチ、呼吸数センサ、皮膚電気反応センサ、温度センサ、加速度計/ジャイロスコープ(外部ウェアラブルまたは埋め込み型)、カメラ、マイクロホン、キーボード、マウス、タッチパッド、タッチスクリーン、ジョイスティック、既製のユーザ入力デバイス、モーションキャプチャセンサ、商のリム(quotient limb)、ヘッドまたはアイジッター、眼球の動きの(視覚もしくは赤外線カメラまたはEOG)センサ、瞳孔径、デコード顔状態(decoded facial state)センサ、声分析センサ、その他を含むことができる。ユーザ制御(例えば、ユーザ制御210)は、マウス、実際のキーボード/キーパッド、仮想キーボード/キーパッド、手振り、実際/仮想のボタンクリック/ドウェル、カーソル軌道、カーソル位置、呼吸式入力(sip/puff)、EMGコントローラ、声起動、その他を含むことができる。これらのセンサによって捕獲された生理学的/電気シグナルは、本明細書において「神経シグナル」と称される場合がある。
【0036】
入力源を動的に除去または追加できるので、運動機能促進システムは拡張可能であることができる。例えば、ユーザが、ある特定の表面EMG入力シグナルを使用することに、より大きな困難を覚える可能性があり、その結果、それらが可能な入力として除去されるのに対し、新たな外部または埋め込み型センサは、追加できる新たな入力源を提供することができる。
【0037】
出力効果器
運動機能促進システムはまた、出力効果器(例えば、出力デバイスネットワーク215)を含むことができる。シグナルが記録され、デコードされた後(例えば、マネージャスイート105による)、シグナルを展開していくつかのアクションを起こさせることができる。この展開は、画面(デスクトップ、ラップトップ、電話)に表示されたディスプレイテキスト、画像、もしくはビデオ、または音声(言語、音楽)、および嗅覚キューさえも含むことができる。振動触覚フィードバック出力は、ウェアラブル、埋め込み型もしくはデバイス型触覚器(いす、電話)または電気刺激(触覚「ホスフェン」)を含むことができる。
【0038】
動きを回復させるために、最も頻繁に使用される出力効果器のうち2つは、モータ始動および電気刺激である。可動式ロッドコンポーネントを有する硬性ブレース上に配置されたモータは、蝶番関節の動きを引き起こすことができる。電気刺激を使用して、下にある筋肉または筋肉群を収縮させることができる(機能的電気刺激)。これらの2つのアプローチを、同じ関節にわたって動きを達成するために独立して使用することができ、または並行して1つもしくは異なる関節(例えば、肘および手関節)で同時に使用することができる。
【0039】
所与の出力がトリガされた場合、これは、バイナリ(例えば、モータが1つの位置から別の位置までずっと動く)、連続(比例的)、またはより複雑な、事前プログラムされたシーケンスであることができる。運動機能促進システムは、異なる動きおよび様々な筋肉を標的とする刺激の事前プログラミングを可能にする。プロトコルは、正しい設定を保証するために医療提供者(例えば、理学または作業療法士)による入力を伴うことができる。システムの較正は、市販されている他の事前プログラムされた機能的電気刺激システムによって課された制限を克服することができる。例えば、運動機能促進システムは、事前プログラムされたモーションを、モーションの質の制御および個々の筋群のタイミングに関して変更することができる。他のシステムが必要とする、療法士からの一貫した手動の介入なしに、個々の患者の必要に合わせて筋活動化シーケンスを調整することができる。運動機能促進システムは、集中的な手動の設定および制御を操作せずに、特定ユーザに対する出力をカスタマイズ的に自動化することができる。さらに、運動機能促進システムは、一部は制御のため、一部はシステム自体についてのフィードバックのための複数のセンサの使用を組み入れることができ(例えば、ストレインゲージ、電位差計、プッシュボタン、容量式ボタン、および関節角度についての加速度計)、システムがクローズドループであり、医療療法士の非存在下で操作できるようにしている。追加的に、運動機能促進システムは、必要に応じて出力効果器の動的な除去または追加が可能である。
【0040】
1つまたは複数の装具または補装具コンポーネントは、システムの状態で(例えば、始動または刺激のために)実装されることができる。これらのコンポーネントを、既製で、または経時的な同じユーザ(小児から成人への成長など)を含むユーザのために3Dプリント技術を使用する特別仕様で購入することができる。
【0041】
デコーダおよびマッピング
運動機能促進システムのクローズドループの性質は、動的で効率的な刺激方法および異なる技術のリアルタイム組み込みを可能にする。患者がシステムを使用し続けるにつれ、人工知能(AI)は、パラメータおよび出力制御を更新および修正することができる。システムは、患者のパフォーマンスデータに基づいて最適な設定を探索し続けることができる。さらに、警報システムが、治療の効力および患者の安全性を保証するために実装されることができる。リハビリテーションの設定では、システムは、自動フィードバックおよびタスクのガイドを提供し、それにより、患者が効果的に訓練するための時間を長くすることが可能になる。これにより、医療サービス提供者は、同じタスクの繰り返しを観察しなければならない代わりに、介入および治療法に焦点を当てて患者と時間をすごせるようになる。システムのクローズドループの性質はまた、医療サービス提供者および保険金支払者に、1)介入プロトコルの情報を与え、2)変化および進歩を常に把握するために使用することができる定量的アウトカム評価指標を提供することができる。
【0042】
運動機能促進システムはまた、多様なデバイスコンポーネントを多様な解剖学的部位で使用して、および多様な設定を使用して、電磁刺激をトリガすることができる。コンポーネントは、金属接点、ディスク電極、軟質伝導パッド、生体構築物、その他を含むことができる。さらに刺激は、頭皮での経頭蓋刺激、帽状腱膜下刺激、硬膜下刺激、深部刺激、脊髄刺激、末梢部位を含む皮膚刺激(例えば、正中神経、後脛骨神経)、迷走神経刺激(埋め込み型または頸部もしくは耳介枝外部からのVNS)、その他を含むことができる。電流は、刺激コンポーネントを介して、交流、可変電流、ランダムノイズのバイアス電流、または周波数掃引として直接送達することができる。システムはまた、交差短パルスまたは時間干渉を含むことができる複数部位刺激を実装することができる。
【0043】
所与の部位での刺激開始または終了を単にトリガすることに加えて、運動機能促進システムは、デコードされたシグナルを分析して、その接点がソースおよびシンク、その他として機能する、パルス幅、パルス波形、パルス極性、パルス振幅、周波数、持続時間、グループ分け(単一パルス、トレイン、周波数掃引)などの刺激パラメータを調節することができる。場合によっては、運動機能促進システムを使用して、磁気刺激装置の制御をトリガすることもできる。
【0044】
機能的タスクのステージ、例えば、リハビリテーションエクササイズの特定相の間に、ユーザによるタイマ設定が完了したとき、特定の言語、視覚もしくは触覚キューもしくは命令で疲労もしくは関与のデコードされたシグネチャを受信したとき、またはセンサがタスクの状況に気付いたとき(例えば、RFIDチップを装着した水のボトルの横に、手があり、手がそれを握る準備をするよう装具に警報を与える、もしくは壁のスイッチまで非接触で手を滑らせてスイッチを入れる)、その他に基づいて、所与の種類の刺激(電気、機械、熱など)を適用するように運動機能促進システムを構成することができる。
【0045】
運動機能促進システムはまた、任意の所与の入力シグナルまたは出力源の設定を調整することができる。例えば、筋肉活動を記録している入力シグナルを平均して二乗平均平方根を求めることができる。同様に、ユーザ、医療サービス提供者、またはソフトウェアは、入力シグナルが交差する閾値を設定して、所与の出力をトリガすることができる。所与の効果器の出力範囲は、任意に制約または拡張することができる(FESについての許容される電流振幅の範囲、運動の角変位、または加速度測定もしくはストレインゲージフィードバックによる正味の関節変化、その他)。システムソフトウェアはまた、ユーザまたはサービス提供者に、ある特定のスケーリングおよび変換規則を入力および出力に適用する能力を提供することができる(例えば、所与の入力シグナルを、バンドパスする、倍数によってスケーリングする、係数によって相殺する、または感覚生理学において一般的なシグマ変換などの任意の形状のフィルタを用いて畳み込むことができる)。
【0046】
システムデコーダをリアルタイムで展開するように設定することができる。したがって、記録されたシグナルは、ユーザが日常生活および多様な活動に関与するときに、様々な出力アクションを連続的にリアルタイムでトリガすることができる。オフライン分析は、技術者または医療提供者によって行われることができる一方で、運動機能促進システムは、その瞬間に行われる機能的動きも達成することができる。
【0047】
離散デコーディング
離散デコーディングは、所与の入力シグナルを受信し、このシグナルを1つまたは複数の離散出力状態にマッピングすることを指す。例えば、入力シグナルを、完全に伸展または完全に屈曲した肘などの特定のモーションにマッピングすることができる。離散状態をデコードするために1つよりも多い入力シグナルを組み合わせることができ、所与のデコードされた離散状態は、1つよりも多い効果を達成することができる(例えば、状態「手を頭方向に動かす」がデコードされた場合、複数の運動効果器を起動して所望のモーションを達成することができる)。
【0048】
運動機能促進システムは、入力と出力との間のいかなる任意の割り当ても離散的にマッピングすることができる。入力シグナルが組み合わされた場合、または所与の入力シグナルに雑音が多いまたはそのシグナルが複雑な場合、形式的デコーディングアルゴリズムを展開することができる。場合によっては、較正データと所与のアクションの事前確率とを組み合わせることができるベイジアンデコーダが実装される場合がある。様々な入力による制約の下で、システムのソフトウェアにコンテクスト状態を教示することができる(例えば、練習状態、在宅日常状態、学業状態、タスク特異的状態、その他)。運動機能促進システムはまた、ユーザがデコーダ出力を閲覧するためのグラフィック表示を含むことができる(例えば、出力が効果器にマッピングされる前)。
【0049】
連続デコーディング
離散状態をデコードすることに加えて、運動機能促進システムは、連続的に変動する出力状態を特定するために拡張可能なアルゴリズムバンクを含有することができる。したがって、閾値に基づいて単にトリガ規則(例えば、EMGシグナルの二乗平均平方根が予め定義された閾値を超える)を作る代わりに、連続デコーダは、出力を比例尺度範囲で変動させることができる。例えば、EMG二乗平均平方根の振幅を、全屈曲または全伸展よりもむしろ正確な関節角度に連続的にスケーリングすることができる)。デコーダのオプションは、多層パーセプトロンネットワーク、畳み込みニューラルネットワーク、遺伝的アルゴリズム、バイナリ粒子群最適化、敵対的生成ネットワーク、多項式および放射基底カーネルのサポートベクターマシン、カルマンフィルタ、一般化線形混合モデル、粒子フィルタ、ランダムフォレスト、ローテーションフォレスト、その他を含むことができる。主成分分析および独立成分分析を、離散および連続デコーダの両方で展開することができる。
【0050】
迅速状態空間探索
入力シグナルを出力効果器にマッピングすることに加えて、様々な離散および連続デコーダはまた、入力シグナルの状態空間を探索して、その後の較正を制約することができる。場合によっては、較正手順は、特定のアクションをユーザに想像させる、試みさせる、(物理的に可能な場合)行わせることを含むことができる。他の場合に、較正手順は、別の個体または仮想アバターがアクションを行っているのをユーザが観察することを含むことができる。場合によっては、較正手順は、受動的にユーザを「ドラッグ」している出力効果器を含むことができる。しかし、ユーザに、ある特定の姿勢およびシーケンスを行うように想像させる、試みさせることによって、さらなる制御シグナルを導出することができる。同様に、ある特定のシグナル(僧帽筋の高密度表面EMGにおける独立成分分析によって検出された小さな運動単位など)は、場合によっては、明らかなまたは意識的な制御相関現象を有しない場合があり、特定の想像された/試みられた動きを要求することによって、ユーザの活動化パターンが、リアルタイムのデコーディングに有用なものとして誘導され得る。敵対的生成ネットワーク、ランダムフォレストおよびすでに引用されたその他すべてのアルゴリズムを設定して、ターゲット動きの適切な命令セットまたは他のタイムスタンプ付きの目標およびタスクを生成することができる。
【0051】
フィードバックベースのエラー最小化再較正
ある特定の場合に、ユーザは、入力源から出力効果器への予備マッピングまたはマッピングの収集が作られるとすぐに、機能的タスクのための運動機能促進装置を展開することができる。他の場合では、エラー最小化のために最初の較正の後にある特定の較正段階を繰り返すことに顕著な利点があり得る。このアプローチは、システムの迅速再較正を提供することができ、その結果ユーザは、効果器を使用して練習することができ、技術者または提供者は、これらの最初の練習試みの間に収集されたデータを使用して、離散または連続デコーダパラメータ(線形フィルタ係数など)の新たなセットを特定する場合がある。運動機能促進システムは、場合によっては、較正または再較正セッションを繰り返すべきかに関して、ユーザ、技術者または提供者に定期的に問い合わせることができる。
【0052】
較正
較正は、システムがアクティブな入力オプションおよび出力オプションを登録し、ユーザが様々な出力を制御して機能的目標を達成できるように、マッピングを調整するプロセスを指す。センサレベルによる、またはすべての入力を全体的に一緒に組み合わせることによる、マッピングの加重および変換がセンサで起こることができる。較正は、医療提供者、家族、ユーザによって提供される、またはシステム自体によって自動的に生成された、以前にプログラムされたマクロまたは他の事前プログラムされたルーチンを考慮することができる。さらに、較正プロセスは、ユーザ(またはユーザ群)、技術者、医療提供者、友人もしくは家族、またはユーザによって指名された介護者、またはこれらのオプションの組み合わせによって開始されて自動的に起こることができる。
【0053】
入力を受信するための較正手順にグラフィカルユーザインターフェースを使用することができる。そのときシステムは、正味の動きにバイアスをかける可能性がある脳、末梢神経または脊椎などへのメタ調節出力を含む出力に入力をマッピングすることができる。
【0054】
上記のいずれかまたはすべてに行われるデータ処理は、パワースペクトル高速フーリエ変換、ウェーブレット畳み込み、ヒルベルト変換、ベイズ分類器、フィルタ(線形、粒子、カルマンまたはハイブリッド)、ヒステリシストラッキング、その他を含むことができる。運動機能促進システムは、あらゆる較正、訓練および機能回復タスクのステージならびに任意のバイオマーカシグネチャまたはプロバイダ-トラッカ(新しい情報の提示、符号化-格納-検索、カスタマイズされた職業毎の認知数学-語学の学習対テスト)およびタスクパフォーマンス(個人スコア、種々のベースライン、以前のセッション、規範的データセットに対するこれまでのパフォーマンス)をトラッキングし、タイムスタンプを付与することができる。
【0055】
較正手順は、技術者が存在するまたは存在せずに、および技術者が遠隔で利用可能または利用不可能な状態で起こることができる。画面は、ユーザの健康状態および医学的状態についてのデータを(医療提供者、ユーザ、および指定された介護者に)表示することができる。較正は、所望の利用可能な入力およびそれらのシグネチャによる特定なセンサの系統的特定を伴うことができる。ある特定のセンサが機械的調整(例えば、過剰なインピーダンスとの導電接点)を必要とする場合、システムは、対応する調整についての警報および命令を生成することができる。様々なセンサまたは事前プログラムされたルーチンからの時系列およびトリガデータを考慮すること、ならびにユーザまたは技術者またはその他による進行中のアノテーションに加えて、システムはまた、他のパフォーマンス特徴、例えば、EEGでの刺激提示後300ミリ秒の陽性の振れ(P300)、ピークアルファ周波数、インサイトに対するユーザへのクエリ、後の記憶想起、EEG/EMG/EKGによる覚醒度および他の評価指標、認知努力、その他をトラッキングすることができる。さらに較正は、2Dおよび3Dアニメーション、ビデオおよび仮想現実表示、音声、ならびに触覚フィードバックを伴うことができ、特定のユーザに特異的な顕著なコンテンツ、例えば音楽、音声、個別化、写真、および他の画像を展開する場合がある。導電センサインピーダンスおよび機械スイッチ位置決めなどの、センサのシグナル品質を、較正の途中におよび使用の間ずっとバックグラウンドで連続的にトラッキングすることができる。
【0056】
特定のタスクに合わせて較正をあつらえることができ、較正は、各タスクに対して「メタ」であることができる。したがって、横隔膜呼吸、誘導イメージ法、リラクゼーションエクササイズ、催眠下指示、眼球の動き、および特定の種類のバイオフィードバックを組み入れている定期的にスケジュールされた較正セッションがあることができる。この種類のメタキャリブレーションは、入力と出力との設定およびマッピングの最適化を助けることの両方ができ、かつ多様な設定でシステムを最適に展開するようユーザの訓練を助けることができる。バイオフィードバックは、覚醒度を徐々に上げてまたは下げて、機能的タスクの学習を最適化するためにEEGベースの神経フィードバックを含むことができる。
【0057】
較正はまた、多様なタスクについての出力をテストするための環境を提供することができる。身体的基礎運動タスク(例えば、手を開くおよび握る)を、機能的タスク(コップをつかむ)および認知タスク(新しい言語で単語を話す、例えば新しい言語で「コップ」にあたる単語を発音する)とも結び付けることができる。認知バージョンの運動機能促進システムは、数学、言語、工学、金融および他の話題で新しい題材の指導に向けて較正を導くことができる。
【0058】
視覚受容野をマッピングするための迅速定量方法を他のセンサ入力に適応させることができる。センサ入力の平均事後分散を最小化するための刺激を選択する効用関数を含むベイズ能動学習方法は、事前のパラメータ値の推定(prior parameterization)、刺激選択、および能動学習パフォーマンスの関係を分析することができる。別のアプローチは、確率的勾配降下法および一般化線形分類スキームを含むことができる。較正に迅速逐次視覚提示を展開して、参加者およびソフトウェアに、最適なマッピングを特定および検出させることができる。
【0059】
較正システムは、多様な日常活動(例えば、運動ベースの活動、例えば洗濯かごを持ち上げる、歯を磨く、コップを取り上げて飲むなど;および/または認知ベースの活動、例えば、納税申告書に記入する、銀行取引を行う、薬物療法管理など)を通じてユーザをガイドするまたは「歩かせる」ことができる。
【0060】
較正はまた、タスクの完了を促進するためにキューを使用することができる。キューの例は、消失キュー、嗅覚キュー、触覚キュー、振動触覚または電気触覚人工コンテクスト、振動触覚または電気触覚対連合子、空間間隔、意図的に変更されたタスク設定、マルチモーダル多感覚フィードバック、メタファーの教育、記憶増進、場所法、運動学習、ティーチバック、集中した熱心な練習とリラクゼーションとを意図的に交互に行うこと、ヨガ姿勢、気功姿勢、許容されるマインドワンダリング間隔、その他を含むことができる。
【0061】
高速で、信頼性が高く、努力を要しない、基本(FREE)入力探索
運動機能促進システムは、ユーザの最適なfreeシグナルを決定する方法を含む。運動障害者に関して、動きを回復させるためのデバイスを制御するために使用することができる非損傷のシグナルが、彼らの脳または身体のどこかに存在する。例えばだれかが麻痺した手を有する場合、彼らの肘の制御は非損傷の場合があり、その結果、肘のモーションを使用して、手の動きを回復させるデバイスをトリガすることもできる。展開された場合のシステムのソフトウェアアルゴリズムは、これらの「F.R.E.E.」入力を検出することができる。
【0062】
システムは、較正タスクのセットの間にユーザからの残存制御シグナルを測定することができる。技術者、医療提供者、療法士または臨床工学技士は、人体の多数の部位にセンサ(例えば、EMG、加速度計、ジャイロスコープ)を取り付けることができ、ビデオおよび音声録音などの他のセンサも同時登録することができる。ユーザによって直接閲覧される、または療法士-技術者のためのキューシステムとして使用される、中心的仮想現実作業空間は、特定のアクションおよび命令を実演することができる。命令は、特定の動きまたは動きセットを実際に行うことまたは行うことを単に想像することを含むことができる。仮想現実モデルを使用して、療法士がターゲット動きを演じて動きを実演することができる。または動力ロボティクスもしくは刺激を介して参加者自身の肢を動かすことができ、その間、参加者は自分が肢を制御している振りをするように命令される。
【0063】
システムは、様々なセンサから受信したシグナルをトラッキングすることができ、様々な命令のタイムスタンプを登録することと並行してそれらにタイムスタンプを付与することができる。十分な較正情報が獲得された後(例えば、参加者に、1つもしくは複数の肢または全身の多様な機能的動きを、想像させるまたは試みさせることによって)、技術者は、システムをトリガして、(またはシステムがそれ自体を自動的にトリガできて)、どの入力または入力の組み合わせがターゲット活動と相関するかを特定するためのマッピングモデルを構築することができる。これは、予備的入力およびマッピングのセットを生成することができ、予備的入力-運動-出力マッピングを定位置にして、命令された活動のうち1つまたは複数を繰り返すことができる。次いでシステムは、適切ならば正確度および速度および主観的評価のためのクエリをトラッキングすることができる。次いでソフトウェアは、マッピングを更新することができ、命令された多様な活動と様々なマッピングオプションとの間で行ったり来たりするサイクルを、それ自体繰り返すことができる。すべての可能な入力源、マッピングおよびモータ出力のコンビナトリアル大規模探索空間を仮定して、所与の機能的アウトカム(例えば、コップを取り上げることおよびそれを口に運んで飲むこと)を達成するために、マッピングおよび「グディナフ」閾値のセットを並行して使用することができる。
【0064】
モールス様マクロ
モールス様マクロは、FREE入力を代替的モーションメカニズムにマッピングすることができる。例えば、無傷肩EMG/機械スイッチを使用して遠位刺激/動力モーションを駆動する代わりに、システムは、特定のアクションへの1つまたは複数のFREE入力をマッピングすることができる(例えば、肩を1回すくめると灯りがともり、2回で灯りが消える)。モールス様マクロは、間隔のシーケンスをモールス符号、または「髭剃りと散髪25セント(shave-and-a-haircut-two-bits)」リズムのような特定の割り当てとして読み出して、任意の所与のFREE入力をリズミカルに使用することができる。FREE入力(例えば、弱側の僧帽筋近位からのEMG)の同一性およびリズム(例えば、…_.._.)を組み合わせて、カスタムの効果器アウトカムを達成することができる(例えば、リズムを、特定の電話もしくはコンピュータアプリケーションを開くこと、または特別な単語もしくは語句をタイピングすることにマッピングする)。これは、ヒトの脳がシステムの工学的デコーディング局面を顕著に高速にすることができる特定の離散アクションの間隔を生成する容易さおよび信頼性に影響を与えることができる。
【0065】
神経グラフィティ(Neural Graffiti)
システムはまた、神経グラフィティを実装することができる。ある人物が会話、動きを想像する、または実際に会話もしくは動きを行う場合、特定の脳領域が活動化される。神経グラフィティの目標は、脳から記録された活動から意図された会話または動きコマンドをデコードするという難題をずっと簡単にすることである。想像または意図された会話または動きに神経活動をデコードすることは難易度が高い。それは、可能性のある会話および言語コンポーネントが極めて多数であり、潜在的組み合わせが莫大であるからである。神経グラフィティは、ユーザが想像された言語-動き「ジェスチャ」の特定のリストおよびその規則のセットを学習するように要求することによって問題を制約する。このジェスチャを意図される会話またはテキストに集合させることで、声起動およびキーボードでのタイピングを置き換えることができる。想像されたジェスチャは、想像されたタイピング、想像された速記(速記術)、および想像された身ぶり言語に類似しており、それを扱いやすく、リアルタイムで高速にしてデコーディングの問題を制約することができる(すなわち、意図された情報を思考の速度で記録およびデコードすることができる)。
【0066】
神経活動を所望のテキストまたは所望の会話にデコードすることに取り組むいくつかの方法がある:
・会話を想像する。文字を視覚化せずに「空を飛べたらいいのに」と言いながら想像することができる。
・テキストをタイピングすることを想像する。予測されるテキストを使用する間ずっと、自分の指がキーボード上で「I」、次に「スペースバー」、次に「w」、次に「i」のキーなどをタイピングするのを想像して単語を終わらせ、オプションのうち1つを選択することができる。
・手にペンもしくは鉛筆を持って言葉を手書きすること、または肘、肩、足、もしくは全身さえ使用して(アイススケートで氷を削って言葉を描くなど)、各文字の形を描くことを想像する。
・文字毎または音声毎または表意文字毎または単語毎または語句毎を示す、速記または速記術の用語で書くことを想像する。
・テキストを文字毎または単語毎に(手/腕のジェスチャを用いた身振り言語のように)身振りすることを想像する。
【0067】
ユーザは、素早い動きおよびコンパクトな表記という特徴を有する一連の速い神経ジェスチャを想像することができる。例えば、想像された右手回旋としてのSiri、手を伸展する、および指で素早く招き寄せるなど。文字毎、単語毎に書くためのジェスチャのオプションを、較正済みジェスチャライブラリに格納することができる。
【0068】
クローズドループトリガ随伴刺激
システムは、「シグナル源」、「トリガ規則」、および「トリガアウトカム」を含むことができる。「シグナル源」は、頭皮EEG、帽状腱膜下EEG、骨内EEG、硬膜外EEG、硬膜下EEG、皮質内LFP、深部EEG、シングルユニット記録のように脳から、および心拍数、心拍変動、呼吸数、電気皮膚コンダクタンス、血糖値、瞳孔径、眼球外図、筋電図のように他の生理学的起源から、および加速度計、ジャイロスコープまたは視覚運動解析から推論された肢、頭または身体位置などのユーザに関する他のデータから記録された神経活動、ならびに音声、ジェスチャ、キーボードエントリ、マウスのクリック、ジョイスティックの使用などのユーザからのユーザ入力、ならびに医師、教師、介護者などの他のユーザからの入力、ならびにコンピュータからの事前設定入力、ならびにカレンダーアイテム、eメールの到着、事前設定されたタイマ/タスク、メガネ型カメラまたはイヤーマイクロホン音声を介した特定人物の認識、出来事、ある特定のGPS座標への到達などの事前定義された事象であることができる。
【0069】
「トリガ規則」は、一定または変動する期間の連続する、重複するまたは重複しないウインドウ内にこれらのデータストリームのうち1つまたは複数をリアルタイムで採取することができ、事前定義された閾値(ベースライン較正期間内に事前定義された標準偏差の倍数を超える特定の周波数バンドにおけるパワーなど)を通過する振動力特徴(帽状腱膜下記録EEGまたはある特定の筋肉にわたるEMGの二乗平均平方根など)のように、このデータにおけるある特定の特徴セットが適合したならば、トリガが設定され(例えば、0から1への設定)、これは、事前定義された「トリガアウトカム」を起こさせることができ、特定のアウトカムが特定のトリガ規則事象に割り当てられる。このアウトカムは、頭皮、帽状腱膜下、硬膜外、骨内、硬膜下、深部、皮質内接点での電気刺激、筋FES、および2つ以上の接点のセット(位置、スペーシング、距離、インピーダンス)と、刺激の特性(持続期間、パルス幅、パルス極性、パルス波形、孤立パルスまたはパルストレイン、トレイン周波数に対するトレイン間隔、振幅、周波数、位相角)とが変動し得る数多くのパラメータを含み得る。「トリガアウトカム」はまた、ある特定の刺激(画面上の言葉または画像、振動触覚パターン、例えば耳に装着したスピーカから鳴った音)の提示であることができる。例えば、「シグナル源」は、連続的に帽状腱膜下記録されたEEGであり得る。「トリガ規則」は、初期の較正アルゴリズム(手作業または自動またはハイブリッド)を使用して以前にタグ付けされた場合の無関心、記銘不良、混乱、眠気についての人物のユニークシグネチャを認識しているオンライン分類器であり得る。「トリガアウトカム」は、ある特定の位置、ある特定のパワーおよび周波数ならびにある特定の持続期間の帽状腱膜下刺激であり得る。その人物のイヤホンスピーカに発話された命令、およびクラウドまたは装着したスマートフォンデバイスまたはデバイス自体のデータバッファへのログが存在する場合または存在しない場合がある。
【0070】
プライミングラベル法
この三段階プロセスは、エピソード記憶の符号化、格納および検索を強化するように設計されている。「プライム」は、いつでも学習できる状態に脳を「プライミング」するために経頭蓋電気刺激(頭皮、帽状腱膜下、または頭蓋内電極からのもの)を使用する。「プライム」は、任意の開始もしくは精神物理タスク状態に基づいてオープンループで起こる場合、または「学習準備完了」を示す「トリガシグナル」の検出を条件とする場合がある。「プライム」は、空間非特異的な一般的拡散調節ブーストであると考えられる。「命令」は、特定のデータ、例えばテキストまたは顔-名前の関連または簡単な説明または事実である。これを発話または表示することができる。命令を行った直後に、ティーチバックおよび「ラベル」、例えば振動触覚パターンまたは嗅覚キューがあり得る。この考えは、学習された「命令」エピソード記憶内容を将来的に検索する助けになるように、この「ラベル」をユーザが意図的に随意に展開できるというものである。このアプローチを、本明細書に記載される運動強化技術と組み合わせることができる。
【0071】
マルチモーダルフィードバック
一次感覚皮質干渉刺激は、波干渉が中間位置に影響せずに特定のターゲットをターゲティングするように、2つ以上のコンダクタ接点に電流を送達させる。「スマート」は、所与のターゲット電気刺激効果を達成するためにより少ない量の総電流(時空間積分として、すなわち振幅-持続期間反比例)が必要なように、接点から直接記録されたように局所的に、または低解像度トモグラフィ推論手順により推論されて、進行中の内因性(または変動する外部刺激によって定常状態が誘導された)活動を考慮することを指す。この考えは、電気刺激(頭皮、帽状腱膜下、骨内、硬膜外、硬膜下、頭蓋内、脳内、血管内、経皮末梢神経、神経筋FES)が、進行中の振動活動に随伴して特定の電極での刺激を送達することを介して単独もしくは混合型の特定の視覚/聴覚/触覚/固有受容覚または他の新規な知覚を誘導することができるというものである。例えば、ある人物がメモを書くためにそれらのFreedomシステムインターフェースを使用するならば、一次運動皮質、前運動皮質、および可能性があることには頭頂プランニング皮質の上に存在する帽状腱膜下の接点、または特定の末梢神経での接点は、事前定義された/予めユーザによって較正された神経ジェスチャ(「神経グラフィティ」)と関連する神経活動をデコードして、ユーザがフィードバックを得て、その人物が何をジェスチャしていたかを確認できるようにし、接点の別のセットは、電流を生成して(乳様突起および肩および他の位置参照部位も含む)、例えば、文字および単語を形成するように構築された視覚ホスフェンを誘導する。これを、視覚皮質における進行中の活動、例えば、特定の周波数での内因性振動の特定位相、例えば10Hz振動での90°をヒットするための干渉刺激のタイミングピークに随伴して行うこともできる。最適な周波数/位相タイミングを、較正セッションで探索することもでき、1日あたり、1週間あたり、または連続的に、移動平均もしくは他の進行中の自己較正規則として更新することもできる。内因性活動が不十分であるならば、システムは、外部/準外部刺激、例えば、点滅光(例えば、8.3Hzで点滅している携帯電話画面を凝視すると、次いで刺激干渉がその8.3Hz波に乗り、その結果、脳でのみ見ることができるが、物理的には画面上にない画像が画面上に出現する;または同様に正中もしくは腓腹末梢神経を8.3Hzで刺激する)により意図的に入力を追加することもできるが、完全自己完結型システムの場合、定常状態刺激は、振動モータもしくはスピーカダイヤフラムメンブラン、またはブザーブレスレット、ブザーリング、ブザーイヤリングなどの、体内に埋め込まれた触覚器から生じ得る。システムは、この累積「負荷」のために頭蓋内および頭蓋外部位での電気刺激を組み合わせることができる。すなわち、1つまたは複数の位置で皮膚を通して適用された低振幅電気刺激は、意識的に知覚されない場合であっても、感覚皮質の活動化を偏らせることができ、その結果、帽状腱膜下電極からその皮質に直接適用されたより低い電流が、知覚を誘導するために必要であった。コンピュータがパターンを知っているとすると、一定の定常状態周波数以外に可変周波数(ランダムまたは掃引)があることもでき、それは、その公知の入力変動パターンの特定の位相に干渉刺激を追加することができる。
【0072】
「ホスフェン」は、視覚刺激の非存在下でのドット光または閃光の視覚を指す。脳の視覚野の電気刺激は、人物にホスフィンを知覚させる。この種類の「誘導幻覚」はまた、音声および触覚刺激などの他の種類の感覚について行うことができる。体性感覚皮質の電気刺激は、例えば、水が皮膚にしたたり落ちる感覚を引き起こす場合があり、聴覚皮質の電気刺激は、別個の音色の知覚を引き起こす場合がある。前庭神経の電気刺激(乳様突起を通過する電流など)は、世界が傾斜または回転しているという生々しい感覚を誘導することができる。同様に、三叉神経(口または顔のもの)の刺激は、平衡感覚を偏らせることができる。側頭葉腹側部または外側部の部分などの高次皮質野を刺激した場合、特定の形状、顔、言葉、さらには記憶された特定の事象の再経験などのずっと精緻な感覚(elaborate sensation)を誘導することができる。ホスフェンが閃光または光または音色または触覚の印象または平衡感覚などであろうと、今後はホスフェンを任意の誘導された経験を示すものとして見なすことができる。
【0073】
本明細書に記載される方法およびシステムは、システムを実装して、コンピュータからのフィードバックの手段としてホスフェンの特定の組み合わせを誘導することができる。すなわち、システムは、画像表示/コンピュータ画面を見る、オーディオを聴く、または触覚フィードバックデバイスを使用するのと類似の方法で、画像、音声、触覚および肢の位置ならびに他の知覚を伝達しようと努める。このアプローチは、網膜上、蝸牛および聴覚脳幹埋め込み物が行うことの脳(主に新皮質刺激を介するが、「時間干渉」および「短い交差パルス」技術が、感覚視床/LGN/MGN/VPおよび他の皮質下活動化を可能にする)の等価物として考えることができる。留意すべきは、誘導された知覚表象、例えば蝸牛埋め込み物のものは、その人物が解釈することを学習するクローズドループシステムの部分であるので、それらの知覚表象は必要であり得るものと同じ時空間解像度を必要としない場合がある。したがって、ホスフェンベースの視覚および聴覚フィードバックは、生々しい3D画像または音声を必ずしも作り出す必要がなく、実際に、生々しすぎる知覚表象を作り出すことは、現実の実在する視覚、聴覚および他の感覚入力の進行中の経験と干渉する可能性もあるので、逆効果の可能性がある。代わりに、誘導されたホスフェン-フィードバックシステムは、クローズドループシステムを有用にするために十分な情報を伝える、より穏やかな、心を乱さないオーバーレイ、例えば、ユーザに、ユーザがうまく入力されたデータを有することを知らせる、または入力したばかりのテキストを復唱させるものとして意図される。
【0074】
ホスフェンによって伝えられる情報は、以下を含み得る:
・空間定位キュー、例えば、場面にオーバーレイされた地図経路、または建物の枠組みおよび内部配線/管の位置、または医師が診察していた患者にオーバーレイされた診断情報、技術者が握っていた物質の疲労破砕、天文学者が眺めていた空の放射線/X線/赤外線データなど、肉眼/耳/手などに不可視であろうものを見るための一種の「幻覚を起こした」「拡張現実」
・言語の「視覚的」テキスト、「聴覚的」会話、「触覚的」印象。それにより、コンピュータ画面またはスマートフォン上にテキストがあるならば、それを画面上に視覚的に表示する、またはそれをオーディオとして再生するよりもむしろ、それは、このホスフェン-知覚表象システムを介して送達されるであろう。これは、絵文字、象形文字表記法、アイコン、身ぶり言語ジェスチャ、漢字などに似た表意文字/イディオフォーン、すなわちユーザが一語ずつならびに文法的および物語レベルの両方でよりコンパクトにアンパックおよび解釈することもできる特定の視覚/聴覚/空間パターン、同じように「および」を意味するための記号「&」、およびフレーズをグループ化するための記譜法のアーク形状、または段落のための字下げを含むこともできる
・画像および音声、触覚、味、臭い、平衡感覚
・体性感覚ホスフェンの場合、体性感覚皮質および腹後側視床に電流を送達するために使用できる同じ電極アレイが、頭皮神経にも電流を通すことができ、知覚表象を誘導するためにこれらを追加的に使用できることに留意することが重要である。
【0075】
運動強化
Freedomシステムの重要な革新は、それが出力効果器を多様な方法で組み合わせできることである。したがって、所与の出力効果器が、特定の現実の機能的動きを達成するために使用される場合、または動機付け、可塑性、覚醒を強化するために使用される場合があり、その結果、ユーザはFreedomシステムまたはそのコンポーネントを特定のタスクのために展開する方法をより素早く効果的に学習することが可能である。
【0076】
頭皮、耳垂(迷走神経耳介枝に電流を通す)、脊髄周辺(埋め込まれた、または背中の皮膚上、椎骨に沿った経皮的な硬膜外脊髄根刺激)、末梢(手関節の正中神経または足首の腓腹神経など)、または埋め込み(帽状腱膜下、骨内、硬膜下、皮質内または深部位置へのものなど)に配置された導電接点を使用して、脳幹、感覚系伝導路または運動皮質野自体の活動化を偏らせることができる。特定のアクション(例えば、手関節屈曲またはペンを取り上げる)を想像する、試みる、または実行する命令と同時発生するように、次いでその後、日常機能を自由に果たしている間に、陽極(プラス、興奮)刺激のタイミングを調節することができる;一次運動皮質への陽極刺激が脳卒中後の機能的動きを強化するという説得力のあるデータがあり、これは、他の神経学的状態および他の解剖学的ターゲット(前運動皮質、補充運動皮質、視床腹外側部、深部小脳核を含む小脳)にも当てはまることが予想される。電気刺激が理学療法の間に持続的に適用される試験と異なり、Freedomシステムは、所与の機能的動きまたはタスクにおいて正確な時間に、例えば屈曲が開始したときに、または物体を口に運ぶことの口に運ぶ相(bring-to-mouth phase)、または歩行周期もしくは自転車のホイール位置における特定のスタンスで、1つまたは複数の部位(頭皮、脳、末梢神経など)の電気刺激をトリガすることができる。同様に、Freedomシステムは、特定の機能および動きの異なる相で刺激パラメータ(ソースとシンクとの接点、周波数、振幅など)を動的に調整し得る。
【0077】
バッファフィードバック
リアルタイムでデコードされた神経ジェスチャであって、体内もしくは身体(例えば、耳の後ろまたはメガネもしくは手関節上)に装着されたチップ中のバッファ、またはラップトップまたは電話または他の近くの受信機に格納されたデータを入力するための神経ジェスチャ。フィードバックは、耳内のスピーカへのオーディオ、画面/ディスプレイ上の画像、および最も重要には帽状腱膜下リードを介した電気刺激パターンとしての触覚(視覚/聴覚/触覚「ホスフェン」としての感覚皮質へ、視覚皮質へ、聴覚皮質への干渉パターンを含む)を含むことができる。
【0078】
周波数タグ付け強化
周波数タグ付けは、視覚(画面上のテキスト、特定の画像)、オーディオ(発語された言葉、音楽、音色など)、および触覚(振動触覚器)などの入力が特定の周波数で動揺するように設定され、その結果、それらが脳において定常状態誘発電位を誘導する技術として定義され、それにより、神経および筋記録(頭皮EEG、帽状腱膜下EEG、骨内EEG、硬膜外EEG、硬膜下EEG、深部EEG、マイクロ-LFP、シングルユニット記録;表面EMG、埋め込みEMGからのものなど)は、これらの周波数(高速フーリエ変換、ウェーブレット畳み込み、ヒルベルト変換のパワーおよび位相からのものなど)を検出して、動揺している刺激のプロセシングの存在、タイミングおよび位置を推論することができる。この電気刺激干渉法の前提は、電気刺激(tDCS/tACS/tSOSを経由して頭皮から、リモートでrTMS、非侵襲的に送達されようと、または帽状腱膜下、骨内、硬膜下、深部、皮質内接点によって送達される電流;または末梢神経、脊髄周辺、脊髄硬膜外、皮膚EMG、筋肉周辺に埋め込み)が、周波数タグ付き刺激が提示された時点で、それらの刺激に関係する回路およびシナプスを選択的に強化することである。周波数タグ付き刺激への電気刺激連結は、同時発生する単純なタイミング(すなわち、動揺刺激が提示された場合に脳を電気刺激する)、およびより効果的には電気刺激の正確なタイミングおよび振幅特性が刺激周波数の1つまたは複数のパラメータ(例えば、3.26Hzで点滅する視覚画像と同時の3.26HzのtDCS)とマッチする場合に基づくこともできる。これを、大まかなタイミング、または正確な位相ロッキングによって(例えば、3.26Hz電気振動の位相が外部刺激3.26振動の位相とマッチする、またはこれら2つの関係が正確に位相相殺する、例えば45、90、もしくは180度、または位相歳差スライディング位相関係を使用する)、ならびに外部刺激周波数と電気刺激周波数との間に固定した不等関係があることもできる場合(2Hzでの音声の変動および4Hzでの電流振動など)、倍音および他の周波数関係を使用して、ならびに外部刺激および電気刺激の両方の基礎をなす周波数がまた、動的に変動することができる場合(すなわち、ザップ(zap)周波数掃引、ノイズ様擬似ランダム)、ならびに刺激周波数および電気刺激の両方が基礎となる内因性シグナル次第の可能性がある場合(例えば、直前のEEGシグネチャ、および他の生理学的評価指標、例えばEKG、HRV、GSR、および他の入力、例えば身体/関節肢位置)に達成することができる。周波数-タグ付け-刺激-干渉アルゴリズムはまた、位相-振幅結合を使用することもでき、その結果、電気刺激の周波数は、外部刺激の変動の振幅に依存することもでき、または電気刺激の振幅は、外部刺激の周波数に依存することもできる。本発明者らが振動特徴を、振動の極性、波形、公知または推論される(例えばLORETAにより)振動の解剖学的位置、進行波の方向、存在/非存在、開始/相殺タイミング、特定周波数におけるパワー、ピークパワーであった周波数、任意の特定の周波数をバンドパスした振動の位相などの、設定または観察できる振動の任意のパラメータとして定義するならば、本発明者らは、外部刺激(点滅刺激)の任意の特定の振動特徴または電気刺激の任意の特定の振動特徴が、1つまたは複数の位置で記録された神経活動の特定の振動特徴次第であるという偶発規則を主張することができる。例えば、2つ以上の接点から記録された3~4Hz活動の事前定義閾値(その領域からのベースライン記録を2標準偏差上回るなど)を超えるパワー増加を検出したとき、これは、接点のそれらの同じまたは別のセットで高周波数電気刺激をトリガする場合がある、または外部刺激振動の別個の周波数もしくはパワーをトリガする場合がある。より細密なトリガ(偶発規則に使用するため)は、接点間コヒーレンス、位相整列、相互情報量、および位相-振幅結合の尺度を含み得る。外部駆動定常状態電位に加えて、システムは、電気(または光)刺激が特定の位相で特定の周波数バンドにおける既存の内因性振動と整列された位相であるようにタイミングを調節することができる。
【0079】
Cortimoの作動原理
図4は、特許請求された本発明に従う運動機能促進のためのシステム(Cortimoソフトウェアスイート)の例示的な態様を示す。図4に示されたシステムは、図2における運動機能促進システムの例であることができ、Cortimoソフトウェアスイートの作動原理およびいくつかのソフトウェアコンポーネントがどのように組み込まれるかを強調することができる。簡潔には、脳シグナルが記録され、増幅され、予備フィルタリングされ、神経シグナルプロセッサ(NSP)425を使用してデジタル化される。追加的に、中心ソフトウェアは、シグナル処理、データフィルタリング、スパイク検出およびデータ格納などの機能性を可能にする。NSP 425は、専用のUDPポートへのリアルタイムデータストリーミングを行い、データはUDPポートでデータ記憶装置430(例えば、バッファ)に格納され、データ記憶装置にはCortimoスイートがAPIを使用してアクセスすることができる。
【0080】
Cortimoスイートは、ユーザによって選択された時間間隔で(50ms~100msの範囲)、データバッファから脳シグナルを読むことができる。データがバッファからクエリされた後、Cortimoスイートは、専用の脳コンピュータインターフェースシグナル処理およびデコーディングアルゴリズムを実行して、外部アプリケーションのための脳由来制御を提供する。アルゴリズムの第1段階は、行電圧チャネルおよびNSPに由来するスパイクタイムスタンプを準備および統一し、さらなる処理がいつでもできるデータストリームを得ることである。このステージで、Cortimoスイートは、データストリームおよび様々なソフトウェアコンポーネントを同期化するために高精度NSPクロックに由来するタイムスタンプを使用する。
【0081】
Cortimoシステムは、2つの主要な脳シグナルコンポーネント:スパイクカウントおよび局所フィールド電位(LFP)を活用するように設計されている。データ同期化に続き、シグナルは、ユーザ定義されたタイムウインドウに分割され、ノイズおよびアーチファクトを低減するように処理された後、特徴抽出が行われる。続いて、ユーザ選択された解析パラメータに応じて、2つの特徴ストリームおよびリアルタイムCortimoデータが、場合によるオフライン解析および機械学習訓練のために専用ファイルに保存される。
【0082】
リアルタイム特徴抽出は、アルゴリズムの最高段階である。それは、抽出された特徴が、次いで、脳の意図をデコードするための分類モデル(デコーダ)に供給されるからである。したがって、最も際立った特徴を選ぶことは、大いに、脳コンピュータインターフェース(BCI)のデコーディングパフォーマンスの利益になる。次いで、デコーディング出力は運動制御コマンドに変換され、内部UDP通信層を介してVR ArmアプリケーションおよびBluetoothコントローラに送信される。Cortimoデコーディングアプローチは、フレキシブルであるように設計されており、利用可能な訓練データおよび現在のBCIパフォーマンスを完全に利用している。従来、BCIアプリケーションは、パラメータの再訓練および適応フィードバックループを可能にするにもかかわらず、単一のあらかじめ決定されたデコーダ(例えば、分類方法)の最適な実装のために設計されていた。Cortimoスイートは、異なるソルーションを実装し、実際にシステムは、短時間の訓練データ収集後にいつでも展開できる7つの異なる分類モデルのセットを提供する。言い換えると、Cortimoは、グラフィックインターフェースとのほんの数回のインタラクションで、オペレータに、異なるデコーディングアプローチを特定、選択、およびテストさせる。この設計選択は、現在のBCIシステムに伴う主な限界の1つ、すなわち、異なるセッションおよび主題にわたるBCIシステムのパフォーマンスの一般化可能性の欠如に取り組むものである。訓練のために使用される特定のデータセットのための最良特徴および最良性能分類モデルを特定するための高速最適化手順を実行するために、生データファイルまたはCortimo生成特徴バイナリファイルのいずれかを使用することが可能な埋め込み型オフラインツールを使用して、Cortimoデコーダを素早く訓練することができる。さらに、これらのモデルおよびそれらのパラメータをファイルに格納し、リアルタイム使用のためにCortimoスイートに容易にロードすることができる。
【0083】
訓練/テストプロトコル
Cortimoスイートは、VR Armアプリケーションの機能性およびリアルタイム処理を伴うその組み込みを活用している訓練およびテストプロトコルの完全なセットを提供する。練習およびリハビリテーションのための腕運動学の現実モデル、患者視覚フィードバックおよびモーションターゲットを提供することに加え、VR Armアプリケーションは、ファイル格納のためにCortimoソフトウェアにリレーバックされる重大な関連リアルタイム情報を収集する。これらのファイルは、Cortimo分類モデルのオフライン機械学習方法のために使用されるタイミング情報、データラベリングおよび腕運動学などの基礎データを提供する。その上、VR Armアプリケーションは、最適な訓練および患者の治療法遵守を保証するために完全に自動化し、計装することができる革新的なリハビリテーションプロトコルを設計および施行するための貴重なツールを表す。
【0084】
フィードバックループのクローズ
Cortimoスイートは、パフォーマンスがオフラインツールを使用して評価される最も一般的なBCIシステムとは対称的に、最適なリアルタイム使用およびパフォーマンスを達成することを目標とする。したがって、精密なリアルタイムフィードバックおよび最短の待ち時間を提供するシステム性能が重要である。Cortimoシステムは、すべての関連するフィードバック情報が各計算サイクルで更新されることを保証するように設計されている。これは、ウェアラブルデバイスのストリーミング性能を使用し、Bluetoothコントローラソフトウェアモジュールにウェアラブルデバイスバックエンドを組み込んで達成されている。このモジュールは、Cortimoスイートのウェアラブルデバイスとその他のコンポーネントとの間に安定で一貫した通信チャネルを提供し、したがって、信頼性のあるクローズドループシステムを生み出している。加えて、Bluetoothコントローラソフトウェアモジュールは、ウェアラブルデバイスモータのための制御論理を実装し、以下の2つの異なる制御戦略を提案している:自分の腕および手を動かそうという患者の脳の意図に基づき、規則的な時間間隔100msでモータを特定の方向に動かし(屈曲/伸展)、それにより、別々の制御戦略を実装する;および患者由来シグナルを使用して、単一コマンドでモータを関節角度により表現される特定の位置に送り、それにより、連続制御戦略を実装する。
【0085】
Cortimo Matlabスイート
リアルタイムCortimo Matlabスイート410は、専売のAPIを使用してMultiport Centralソフトウェアからデータを収集することができる。APIおよびCortimoアプリケーションは、Matlabプログラミング環境を使用して組み込まれている。しかし、場合によっては、PythonまたはC++ベース環境などの他のプログラミング環境を使用してAPIおよびCortimoアプリケーションを組み込むことができる。Cortimoスイートはまた、神経データおよび分類出力を、ウェアラブルデバイス関節モータから導出された運動学的データと同期化および統合することができる。この双方向通信は、MatlabツールとC++ Bluetoothコントローラソフトウェアモジュール(BCSM)との間で交換される非同期UDPローカルホストデータグラムを使用して実装される。脳由来腕制御を導出した後、Cortimoアプリケーションは、Bluetoothコントローラソフトウェアに出力を送り、このソフトウェアは、ウェアラブルデバイスを制御し、それからフィードバックを同時に受信するためのインターフェースを提供する。
【0086】
Bluetoothコントローラソフトウェアモジュール(BCSM)
Bluetoothコントローラソフトウェアモジュール(BCSM)415は、Bluetoothを介する、ローカルホスト非同期UDP通信およびまた双方向通信を使用する、Cortimoソフトウェアと双方向通信を実装し、ウェアラブルデバイスファームウェアは、動力ブレースに取り付けられた組み込み型回路で実行される。より詳細には、Bluetoothコントローラソフトウェアモジュール(BCSM)は、以下を担っている:
・ウェアラブルデバイスファームウェアとのBluetooth通信を管理する;
・ウェアラブルデバイスファームウェアのためのリアルタイムコマンドを生成する;
・運動位置、電池寿命、EMGの読み、モーション限界の範囲などのウェアラブルデバイスからのリアルタイムフィードバックの受信および管理を行う;ならびに
・必要な場合、ウェアラブルデバイスの設定を調整する。
【0087】
Bluetoothコントローラソフトウェアとウェアラブルデバイスとの間のインターフェースは、C++プログラミング言語で開発された(専売の)ウェアラブルデバイスAPIを使用して実装される。
【0088】
仮想現実三次元Armアプリケーション
VR arm 420は、現実的で物理的に精密な腕および手モデルを実装する独立型Windowsアプリケーションである。このモデルは、ウェアラブルデバイスの挙動および制御を模倣するように開発されており、類似の入力コマンドを使用してこれを制御することができる。さらに、VRアプリケーションを使用して、ウェアラブルデバイスの運動学をリアルタイムで表示することができ、したがって、視覚フィードバックのための貴重なツールを提供する。VRアプリケーションの別の重要な局面は、ウェアラブルデバイスを用いたおよび用いない使用のために訓練およびリハビリテーションプロトコルを実装するその性能である。アプリケーションは、リハビリテーションセッションを自動化するための特定の訓練プロトコルを設定するために使用できる一連のGUIを有する。例えば、オペレータは、異なる種類のモーションまたは特定のターゲット腕位置を表示してセッションの間に対象をガイドするように選ぶことができる。VR armはまた、BCIおよびリハビリテーションセッションのデータおよびパラメータを収集することが可能である。この情報は、Cortimo Matlabソフトウェアにリアルタイムでリレーバックされ、システムと対象との間のフィードバックループをクローズするために使用される。VRアプリケーションは、ローカルホストUDP通信プロトコルを専用で安全なポートで使用して、リアルタイムデータをCortimo MatlabスイートおよびBluetoothコントローラソフトウェアモジュールの両方と交換する。
【0089】
Cortimoスイートグラフィカルユーザインターフェース(GUI)
このセクションでは、Cortimoソフトウェアの重要な局面を表すメイングラフィカルユーザインターフェース(GUI)を紹介する。GUIは、ユーザに、総合的Cortimo BCIセッションを容易に、直感的に、最少の訓練で管理および実行させるように設計されていることを強調することが不可欠である。GUIは、プログラミングスキルおよびコード改変の必要なしに解析およびプロトコルにおける完全なカスタマイゼーションおよび変化を可能にする。言い換えると、GUIの背後のコードは、すべてのパラメータを取り扱い、Cortimoに、ユニークなユーザフレンドリー機能性および柔軟性を提供させる。実際にユーザは、最も適切な設定を容易に選び、システムの挙動またはパフォーマンスを損なわずにそれらの任意の時間に変化させることができる。そのうえGUIは、最適なBCIセッションのセットアップにおいてソフトウェアステークホルダをガイドすることを助けるために各段階でコンテクスト駆動型フィードバックを提供する。Cortimoスイートは、いくつかのGUIを展開し、これらのGUIを、同時に管理することができ、すべてのBCI解析および設定を制御することができる。加えて、Cortimoスイートは、実行時間に患者のために単純化された視覚フィードバックを表示するだけの患者特異的ビューを提供する。これらの患者ビューは、関連解析パラメータおよび設定のすべても表示および改変されるオペレータGUIと異なる。
【0090】
メインGUI
メインGUIは、BCIセッションを管理する、メインソフトウェアコンポーネントを接続する、プロトコルの訓練およびテストを管理する、ならびに必要な情報をすべて表示するために必要なすべての制御を提供する。図5は、メインCortimo GUIを示す。
【0091】
BCI解析パラメータ選択GUI
パラメータ選択GUIは、メインGUIから直接アクセスすることができ、BCI解析パラメータ、特徴抽出およびデコーディング技術を選択および管理するために必要なすべての機能性を提供する。さらに、パラメータ選択GUIは、オペレータがデコーディングモデルを容易に訓練、再訓練、および予め訓練されたデコーディングモデルをロードできるようにする。このGUIを使用して、新たなデコーディングアプローチを作り出し、リアルタイムCortimo操作に直接インポートすることができる。パラメータ選択GUIを図6に示す。
【0092】
FFTディスプレイGUI
FFT GUIは、獲得されたシグナルのリアルタイム表示を含むことができる。FFT GUIは、獲得システムパフォーマンスおよびシグナル特性の素早い即時評価を可能にすることができる。FFTウインドウをCortimo入力フィルタおよびそれらのパフォーマンスの素早い評価のために使用することもできる。図7はFFT GUIを示す。
【0093】
Cortimo VR Arm GUI
Cortimo VR Armアプリケーションは、1つがシステムオペレータ用で、1つが患者用の、2つの別々の画面に表示される2つのGUIを含むことができる。図8および9は、VR ArmオペレータGUIを示す。
【0094】
オペレータビュー
オペレータビューは、VRアプリのすべての関連情報ならびに患者に施行されるべき訓練/テストおよびリハビリテーションプロトコルをコンパイルする。このユーザフレンドリーなGUIは、すべての送達されたプロトコルの素早い設定および管理を可能にする。
【0095】
患者ビュー
患者ビューは、オペレータビューの単純版を表示する。このGUIは、BCIセッションの間に患者のために視覚フィードバックを表示することができる。アプリケーション制御および追加的な情報を省略して、患者がVR armまたはウェアラブルデバイスのいずれかの動きに完全に集中できるようにすることができる。
【0096】
システム挙動
システム挙動の概要は、メインシステムコンポーネントおよびそれらのインタラクションを特定すること、ならびにシステム出力を検証することの両方ができる。図10に示される高レベルの概要に、より具体的なCortimoアーキテクチャの説明が続く。
【0097】
図10のブロック図は、Cortimo BCIスイートに必要なメインコンポーネントを提示している。Neuroport獲得システムを使用して脳シグナルを収集することができる。シグナルの前処理およびデジタル化の後、結果として生じたデジタル電圧チャネルおよびスパイクカウントデータを、ユーザデータグラムプロトコル(UDP)接続および専用のAPIを介したCortimoセントラルアプリケーションによって収集することができる。CortimoスイートはBCIシステムの中心であることができ、先端的リアルタイムシグナル処理および特徴抽出を行うことができる。その後、抽出された特徴を、新たに入手可能なデータセットを活用して素早く再訓練することができる患者特異的デコーダに供給することができる。デコーダは、患者の脳シグナルをユーザの動きの意図に変換することができ、Bluetoothコントローラソフトウェアモジュール(BCSM)を介してこれらのコマンドをウェアラブルデバイス、例えば、MyoProに転送することができる。BCSMは、動力ブレース上で実行されるPCアプリケーションとファームウェアとの間の双方向ワイヤレス通信を管理する。この通信プロトコルを、Cortimo BCIアプリケーションのために特異的に設計することができ、このプロトコルは専売のAPIを利用する。最後に、仮想現実アプリケーションは、データを、システムのテストおよび訓練の両方を行うためのCortimoスイート中の他のエンティティと交換することができる。VRアプリケーションはまた、腕の動きおよびリハビリテーションプロトコルのリアルタイムフィードバックを提供する、患者とBCI操作との間の現実的な視覚インターフェースを含むことができる。
【0098】
図11は、Cortimoスイートおよびそのメインコンポーネントの高レベル設計を示す。3つのメインソフトウェアモジュールは、それらの挙動を定義する主要な論理属性にさらに分解される。図12は、中レベルCortimoアプリケーションアーキテクチャを示す。さらに、Cortimoスイートの3つの主要ソフトウェアコンポーネントは、非同期的に作動して実行時間でハードウェア/ソフトウェアパフォーマンスを最大にすることができる。異なるデータストリームおよびモジュール間のデータ通信を非同期的に行うことができる。したがって、Cortimoアプリケーションは、中心として作用し、データ同期化を行うことができる。各システムコンポーネントは、データを生成し、異なる速度でストリーミングすることができる。これらのデータおよびそれらに対応するサンプリング速度を専用の低レベルハードウェア/ソフトウェア環状バッファに格納することができる。次いで、規則的な時間間隔で、Cortimoアプリケーションは、すべての低レベルバッファに問い合わせることができ、すべての入手可能なデータストリームを処理し、それらを専用の高レベルソフトウェアバッファに格納することができる。続いて、NSP絶対タイムスタンプを使用してデータストリームを統一し、場合によるオフライン解析のためにバイナリデータファイルに最終的に格納することができる。このアプローチは、神経シグナルプロセッサの高精度クロックから導出される絶対タイムスタンプに依存することができる。
【0099】
Cortimoアプリケーション
図13は、Cortimoアプリケーションのクラス図を示す。Cortimoアプリケーションは、NSPデータバッファを擬似リアルタイムで読むことができる。このAPIは、バイナリライブラリ、cbsdk.dll、Matlab特異的mexファイル、およびcbmexファイルを含むことができる。メインクラスは、主要パラメータのセットアップのためのstartTimerクラスを使用するメインGUIおよびメインCortimo機能性の背後でコードを実行するCortimoBCI_8、ならびにユーザ定義された時間間隔(例えば、50ms~100msの範囲)でトリガされるメインアプリケーションループを表すことができるupdateDisplayクラスであることができる。updateDisplayは、ソフトウェアのリアルタイム挙動を定義することができ、脳シグナルの処理およびデコーディングを実行することができる。Cortimoスイートは、BCIシステムのコアであることができ、追加的なGUIならびにデータの通信、同期化および格納を管理するための追加的なコードを特徴とすることもできる。Cortimoスイートの別の重要なコンポーネントは、分類器クラス内で定義された分類モデルのためのオフライン訓練性能であることができる。すなわち、TrainingCortimoClassifier_1およびTrainingCortimoClassifier_UsingOnLineFeatsクラスは、すべての必要なステップを行って、機械学習訓練を行うことができ、新たなデコーダおよび設定を生成することができる。これらのクラスは、2つの重要であるが異なる訓練戦略を実装することができる。前者のクラスは、ユーザに、特徴および分類最適化のために使用されるべき脳の生データを選択させることができるのに対し、後者は、ユーザに、分類最適化のために使用されるべき、オンライン抽出された特徴を含有するCortimoバイナリファイルを選択させることができる。言い換えると、後者のアプローチが、すでに(リアルタイムで)抽出された特徴を利用できるのに対し、前者のアプローチは、新たな特徴の選択および抽出を可能にすることができる。図14および15は、実行時間の遂行中のCortimoスイートの機能性のためのメインクラスを示す。
【0100】
Bluetoothコントローラソフトウェアモジュール
Bluetoothコントローラソフトウェアモジュールは、バックグラウンドで実行される独立型アプリケーションであって、Cortimoスイートが製造者APIにおいて定義されるネイティブなコマンドストリングを使用してデバイスに埋め込まれたファームウェアと直接話すことによってウェアラブルデバイスを管理し、それと通信できるようにする、独立型アプリケーションであることができる。図16は、Bluetoothコントローラモジュールについてのメインクラス図を示す。
【0101】
ウェアラブルデバイスファームウェアと対話するためのメインクラスは、デバイスとの双方向Bluetooth通信のためのソフトウェアゲートウェイとして作用することができるMyomoIOである。
【0102】
メインアプリケーションクラスはMyoDevである。このクラスでは、アプリケーションのメインループを定義することができ、すべての他のクラスへの規則的なコールバック(制御および通信)を遂行することができる。Bluetoothコントローラソフトウェアモジュールがウェアラブルデバイスバックエンドにアクセスできるのは、このクラス内である。Control_Logicクラスは、ウェアラブルデバイスのための制御戦略を取り扱い、Cortimoスイートから入力コマンドを受信し、ウェアラブルデバイスファームウェアが解釈および遂行できるコマンドストリングにそれらを変換する。患者の安全を保証し、FDAに要求される安全緩和因子に従うために、ウェアラブルデバイスとのCortimo通信は、ウェアラブルデバイスAPIによって安全であると見なされるコマンドを実装することができ、システムは、誤ったまたは欠陥のあるコマンドを無視するように設計されており、ウェアラブルデバイス製造者によって規定された使用指示の範囲内で作動することができる。さらに、Control_Logicクラスは、異なる種類の運動制御戦略を実装することができ、ウェアラブルデバイスのバックエンドコールを、Cortimoスイートが消費できるリアルタイム運動学的フィードバック情報に転換することができる。
【0103】
udp_dataclassクラスは、他のCortimoソフトウェアコンポーネントとの双方向通信を実装することができる。このクラスは、パフォーマンス最適化のためのマルチスレッドプロセスを非同期的に遂行し、活用することができる。図17および18は、Cortimoソフトウェアコンポーネントの挙動を管理するためのメインクラスを示す。図17は、ウェアラブルデバイスのための通信プロトコルを取り扱っているメインクラスを示し、図18は、ウェアラブルデバイスをリアルタイムで管理および制御しているメインクラスを示す。
【0104】
Virtual Reality Armアプリケーション
VR Armアプリケーションは、仮想腕運動学および物理学をリアルタイムで取り扱うための最新世代Unity 3Dエンジン能力を展開するマルチスレッドアプリケーションである。アプリケーションは、併行して実行され、規則的な時間間隔で同時に遂行されるいくつかのクラスからなる。メインクラスは図19に示され、それらのフィールドおよび方法は、以下の図面に拡張される。
【0105】
図20は、VR armアプリケーションのグラフィクス、特性、挙動およびパフォーマンスを取り扱うことを担うメインクラスを示す。これらのクラスは、典型的には、armアプリケーションの遂行に補助的である可能性があるものの、Unity3Dエンジンアプリケーション内に見出される。これらのクラスは、アプリケーションフレームワークを形成し、実行時間事象および割り込みを取り扱うことができる。
【0106】
図21は、アプリケーションにおいて仮想腕および手の挙動および特性を制御するメインクラスを示す。例えば、rotation_scriptクラスは、すべての操作を行って、動きコマンドと仮想腕/手制御との間に双方向インターフェースを作り出すことができる。動きコマンドを、オペレータの入力、例えばGUIコマンドもしくはキーボードのキーから、またはCortimoスイート運動制御層の出力から、受信することができる。動きコマンドが解釈された後、特定の回転/手の動きのクラスによる物理的に精密な3D腕モデルにコマンドを適用することができる。VRモーションのために使用される現実のクラスは、オペレータの選択、プロトコルおよび実行時間に選択できるモーションの種類に依存することができる。
【0107】
図22は、VRアプリケーションのための訓練およびテストプロトコルを管理するメインクラスを示す。Target_Scriptクラスは、訓練およびリハビリテーションプロトコルを実装および管理することができる。オペレータは、専用のGUIを使用していくつかの種類のプロトコルから選ぶことができ、Target_Scriptクラスは、それらの遂行、タイミング、およびフィードバックデータ収集を受け持つ。
【0108】
図23は、他のCortimoソフトウェアコンポーネントで複数のリアルタイム双方向UDP通信チャネルを取り扱うために展開されるクラスを示す。UDP通信は、非同期的に起こることができ、VR Armアプリケーションを、ウェアラブルデバイスの存在と独立して実行することができる。言い換えると、VRアプリケーションは、システムおよび対象のパフォーマンスの両方の訓練およびテストのための、脳由来または他の制御シグナルと組み合わせて使用することができる独立型ソフトウェアであることができる。例えば、新たなデコーディングアプローチまたはパラメータセットを、外部動力ブレースを着用する(または使用する)必要なしにテストすることができる。さらに、VR armアプリケーションは、Cortimoデコーディングアプローチが依存する機械学習アルゴリズムのための基礎的訓練データを容易におよび自動的に収集するための貴重でユニークなツールであることに留意する価値がある。
【0109】
アプリケーションスレッド
以前に指摘したように、Cortimoは、3つのマルチプロセスおよびマルチスレッドメインアプリケーションを含むことができる。これらのコンポーネントは、非同期的に作動することができ、ほぼリアルタイムのデータ交換を可能にする、規則的でアンマネージドの通信チャネルを維持している。コンポーネントは、独立して走ることができ、別々のメインスレッドに頼っている。この区画化アプローチは、2つの目標を達成することができる一連の警告メッセージを使用して、Cortimoシステムに、実行時間の問題を取り扱いさせる。第一に、Cortimoシステムは、システムをフリーズも、BCI実験セッションを停止もせずに、内部クラッシュを効率的に取り扱うことができる。コンポーネント機能不良の場合、システムは、問題を隔離してそれを解決するよう試みることができる。システムオペレータからの追加的な入力が必要な場合、システムは、クリアで、理解が容易なグラフィカルエレメントを使用して非常に特異的な命令を通信することができる。第二に、メインCortimoシステムは、患者の安全またはデータの完全性を保証しながら、マルチコンポーネントの問題から回復することができる。
【0110】
接続スレッド
Cortimoシステムはまた、一連の接続スレッドを含むことができる。接続スレッドは、最小のシステム待ち時間および作業負荷でコンポーネント間のリアルタイム非同期通信を保証することができる。接続スレッドはバックグラウンドで実行され、リアルタイムのデータ交換性能を提供する。
【0111】
物理ビュー
物理ビューは、ソフトウェアモジュールが遂行されるCortimoシステムハードウェアコンポーネントを提示することができる。このビューは、コンポーネント間の物理的接続性を強調する助けになる。図24は、システムメインコンポーネントと共にCortimoスイートの物理層を示す。図25は、ソフトウェアコンポーネントおよびコンポーネント間接続性を含むCortimoシステムのブロック図を示す。
【0112】
ユースケースビュー
ユースケースビューは、システムコンポーネントへのユーザのアクションを示すことができる。図26は、Cortimo BCIセッションに関与するアクタとエンティティとの間の通信ルートを示す。
【0113】
Cortimoコンポーネント通信プロトコル
上記セクションに指摘したように、Cortimoコンポーネント内部通信は、UDPプロトコルをベースとすることができる。各Cortimoソフトウェアコンポーネントは、その他すべてのソフトウェアプロセスと独立してUDPリスナおよび差出人として振る舞うことができ、高い時間精度および最小の待ち時間でデータ交換を実行する。正確なタイムスタンプおよびメタデータと組み合わせた、低レベルおよび高レベルデータバッファの両方の使用は、ハードウェアまたはソフトウェア作業負荷が原因の待ち時間の場合であってもデータ完全性を保証することができる。さらに、ソフトウェア設計へのマルチスレッドアプローチの使用は、特に異なるコンポーネントが非同期的に実行される場合に、パフォーマンス最適化のための貴重なツールを提供することができる。
【0114】
データ保護を保証するために、各ソフトウェアプロセスは、他のソフトウェアコンポーネントと共に専用のUDP通信ポートを確立することができ、これらの接続を、コードの遂行にわたりオープンに維持することができる。Cortimoスイートがシャッドダウンされた場合、またはオペレータがGUIを使用して接続をシャットダウンすることを選んだ場合、ローカルポートをクローズすることができる。
【0115】
VR Armアプリケーション通信パラメータ
VR armアプリケーションは、異なるモードを含むことができる。1)Cortimoによって送られるコマンドによってアプリケーションを制御することができる;2)Bluetoothコントローラによってアプリケーションを制御できる場合、アプリケーションをウェアラブルデバイスの現実位置と連結することができる;および3)アプリケーションを訓練/テストツールとして使用することができる。この場合、VR armを、Cortimoスイートを介して他のシグナルおよびアプリケーションと同期化することができ、これは、システムを訓練/テストするために使用することができるデータストリームを提供することができる。この操作モードでは、VR armは、Cortimoスイートから完全なデータストリームで送られた制御コマンドに応答することができる、またはアプリケーションは データバッファに最新のプロトコル情報を規則的な時間間隔で書き込むことができる。この場合、Cortimoスイートは、バッファから可変時間間隔で情報を読み出すことができ、データストリームをバイナリファイルに格納することができる。
【0116】
Cortimo通信パラメータ
Cortimoソフトウェアは、外部アプリからデータを送/受信すること、またはUDPバッファから更新された情報を読み出すことのいずれかを行うことができる。これらの異なるデータアクセスモードを、異なるUDPポートを使用して切り離したままにすることができる。Matlab Cortimoスイートはまた、以下の2つのアプリケーションと通信することができる:BluetoothコントローラシステムおよびVR armアプリケーション。
【0117】
ウェアラブルデバイスコマンド層
患者の安全およびデータ保護を保証しながらCortimoスイートとウェアラブルデバイス(例えば、MyoProデバイス)との間に効率的な通信チャネルを確立するために、専用のコマンドプロトコル層を実装することができる。Bluetoothコントローラソフトウェアモジュールは、他のCortimoアプリケーションから受信したコマンドを解釈し、ウェアラブルデバイスファームウェアに検証されたコマンドのサブセットを流すことができる。そのうえ、ウェアラブルデバイスAPIコマンドおよびプロトコルを外部アプリケーションに対してクローズされていることができる。したがって、Bluetoothコントローラソフトウェアモジュールは、ウェアラブルデバイスファームウェアとCortimoスイートとの間に検証済みで安全なインターフェース層を提供することができる。
【0118】
場合によっては、ウェアラブルデバイスのための内部Cortimoコマンド層は、データパケットに埋め込まれた、ウェアラブルデバイスバックエンドによって解釈可能な2つのASCII文字からなることができる。
【0119】
加えて、ワイヤレス制御されたブレース操作の間、通信層は、文字のシーケンスを使用してリアルタイムコマンドをウェアラブルデバイスモータに送信することができる。例えば、第1の文字が手モータの所望の動きを決定できるのに対し、第2の文字は肘モータの所望の動きを決定できる。
【0120】
ブレースモータコントローラ
Bluetoothコントローラソフトウェアモジュールは、Cortimoコマンドをウェアラブルデバイスファームウェアに送信されるべき単純な命令に変換する専用のクラスを含むことができる。さらに、制御アプローチは、別々であろうと連続であろうと、これらのインターフェースクラスがどのように作動するかを決定することができる。具体的には、別々の制御の場合、Control_Logicクラスは、BCIデコーダから、その値に基づいてモーションリクエストを読み出すことができ、別々のインクリメントまたはデクリメントを適用することによって現在のモータ位置(インターフェースがリアルタイムで受信する)に作用することができる。加えて、Control_Logicクラスは、デバイスのモーションの範囲外になるモーション要求に注意を払わないことができ、例えば、ブレースがすでに完全に屈曲している場合、さらなる屈曲の要求は無視されることができる。
【0121】
連続的な軌道制御の場合、Control_Logicクラスは、BCIデコーダ出力を所望の角度位置として受信することができる。この位置を、ウェアラブルデバイスファームウェアおよびアクチュエータに送信される前にモーションパーセンテージの総運動範囲に変換することができる。
【0122】
Cortimo出力運動コマンド
Cortimoスイートは、ウェアラブルデバイスに送信されるコマンドの検証済みシーケンスを出力することができる。選ばれたBCI運動制御戦略に基づき、これらのコマンドは、モーションパーセンテージの総範囲で表現された精密な関節角度回転を表す別々のコマンドまたは連続コマンドのいずれかであり得る。コマンドを、Cortimoアプリケーションに2つのダブルとして格納し、BluetoothコントローラソフトウェアモジュールおよびVRアプリに2つの連続するASCII文字として送信することができる。受信した後、要求される位置に2つのASCII文字を変換し、2つの整数変数のアレイに格納することができる。
【0123】
ファイルデータ構造
Cortimoスイートは、いくつかの種類の出力ファイルを生成することができる。これらのファイルは、異なるデータストリームおよびシステムコンポーネントに関する情報を格納することができる。それらは、システム最適化および機械学習アルゴリズム訓練のためのオフライン解析の欠かせないコンポーネントである。出力ファイルは、以下の3つのカテゴリーにグループ分けすることができる:NSP脳シグナル生データファイル、Cortimoバイナリファイル、およびCortimo設定ファイル。
【0124】
NSPファイルは、神経生理学的獲得システム(例えば、Blackrock NSP獲得システム、心電図システム、皮膚電気反応システム、その他)から導出されたすべてのデータおよび情報を含有することができる。それらは、生データファイルであることができ、BCIデータを再実行、シミュレートまたはオフライン解析するためにそれらを操作し、利用することができる。これらのファイルは、以下の2種類の時系列を格納することができる:連続的局所フィールド電位(LFP)およびNSPシステムによってリアルタイムで検出されるニューロンスパイクのタイムスタンプ。
【0125】
Cortimoバイナリファイルは、CortimoスイートがリアルタイムBCIセッションの間に収集する情報を格納することができる。具体的には、NSPからのユニークなタイムスタンプを使用してすべてのシステムコンポーネントからのデータを統合し、バイナリファイルに格納することができる。これらのバイナリファイルをオフライン解析ツールにロードすることができ、これは、デコーダを訓練し、パフォーマンスを評価し、最適なBCIパラメータを特定するための重要なデータを提供する。
【0126】
Cortimo設定ファイルは、CortimoデコーダおよびCortimoアプリケーションのための情報および設定を格納することができる。オフラインおよびリアルタイム解析の両方で設定ファイルを生成することができ、設定ファイルは、BCIのための情報およびパラメータを含有する。これらのファイルを複数回リロードすることができ、これらのファイルは、異なるBCIセッションおよび分類パフォーマンスに関する重要な情報を提供することができる。
【0127】
バイナリファイルデータ構造
Cortimoスイートは、BCIセッションで生成されるすべてのデータおよび情報を収集するために重要な専売のバイナリデータファイルを生成することができる。システムは、BCIアプリケーションのユーザ選択されたオプションおよび設定に応じて異なる種類のファイルを生成することができる。
【0128】
訓練データファイル
Cortimo BCIは、各BCIセッションのための訓練データファイルを格納することができる。
【0129】
LFP特徴ファイル
Cortimo BCIは、リアルタイムセッションで抽出されたLFP特徴を格納することができる。さらに、システムは、さらなる処理のための抽出された特徴に関する設定およびパラメータを格納することができる。
【0130】
スパイク速度特徴ファイル
Cortimo BCIは、リアルタイムセッションで抽出されたスパイク速度特徴を格納することができる。さらにシステムは、さらなる処理のための抽出された特徴に関する設定およびパラメータを格納することができる。
【0131】
Cortimoデコーダの設定
Cortimoスイートは、システムおよび分類設定を保存およびロードすることができる。これらのパラメータを専用のファイルに格納し、GUIを使用してロードすることができる。GUIは、オペレータを補助して、BCI解析パラメータ、抽出された特徴および実装された分類方法をモニタリングすることができる。BCI設定のための視覚フィードバックを提供することに加え、これらのファイルは、BCIセッションを実行するために必要な情報を格納することができる。例えば、Cortimoシステムをローンチした後、これらのファイルの1つをロードして、いかなる追加的なユーザ入力もなしに完全なBCIセッションをエンドツーエンドで実行することができる。
【0132】
デコーディング戦略
解析パラメータおよび戦略をリアルタイムで変え、専用のGUIを介して少ないクリックで実装することができる。これは、高速で信頼できるパフォーマンス最適化および再訓練を可能にする。全体的なシグナル処理カスケードおよび分類がシステムにハードコードされており、ソフトウェアプログラミングツールを改変する必要がある伝統的なBCIアルゴリズムと比較して、これは、革新的なアプローチである。デコーディング戦略のCortimoメインコンポーネントは、特徴抽出、特徴最適化および分類最適化/訓練である。
【0133】
特徴抽出
実行時間に、Cortimoシステムは、オペレータの好みに基づいて特徴抽出を実行することができる。具体的には、オペレータは、LFPもしくはスパイク速度またはそれら両方から特徴を導出すべきか選択することができる。さらにオペレータは、使用されるべき特定のNSPチャネルおよび特定の時間解析ウインドウおよび抽出されつつある周波数パラメータを選択することができる。
【0134】
LFPからの特徴およびスパイクを組み合わせることによって追加的な特徴抽出を実装することができる。このアプローチは、LFPからある特定の数の特徴を抽出し、それらを、電流スパイク速度から抽出されたある特定の数の特徴および過去の10スパイク速度ビンの平均と組み合わせることができる。このアプローチは、LFPのために選択された速度で特徴セットの更新を提供することができるが、これはまた、スパイクカウントによって提供されたより高速のデータを考慮することができる。
【0135】
特徴最適化
Cortimoスイートは、特徴抽出を実行時間に実行することができる。これらの特徴は、オペレータによって直接選択され、使用されて、新たな分類器を素早く訓練し、システムを実行することができる。
【0136】
あるいは、Cortimoスイートは、生データファイルおよび特徴を含有するバイナリファイルの両方で作動することができる完全なオフライン最適化ルーチンを実行することができる。このオフライン最適化ツールセットは、ますます多くの訓練データセットが入手可能になるのに対して、システムを一貫して再訓練することができ、したがって、最適な特徴および分類器を選択できることを保証することができる。この最適化手順は、生データファイルおよびオペレータによって選択された場合の訓練データファイルをロードし、素早く再検討し、実行時間の使用のためにCortimoシステムにロードすることができる一連のパフォーマンス評価指標および設定ファイルを生成する。
【0137】
分類最適化
Cortimoは、素早い訓練およびテストのための抽出されたオンライン特徴、またはより低速であるがより精密な訓練およびテストのためのCortimo BCI訓練ラベルを有する生NSPデータファイルのいずれかを使用して訓練する準備ができた分類モデルを導入することができる。どちらの選択肢も、Cortimo実行時間GUIにロードする準備ができた設定ファイルを生成することができる。さらに、新たなデータセットが入手可能になり、したがって、コーディングする必要も、Cortimoアプリケーション構造を改変する必要もなしに、適切で最適なモデルを再訓練できる場合に、最適化ルーチンを実行することができる。異なる分類器を容易に訓練、テストおよび再ロードすることができ、したがって、Cortimoアプリケーションが、異なるデコーダに素早くスイッチし、それを実装することができることを保証する。このレベルの柔軟性は、特定の実験および環境条件への素早いシステム調整を可能にする。例えば、Cortimoスイートにより支援される7つの再訓練可能な分類アルゴリズムは、線形判別分析、粗い決定木(Coarse Decision Tree)、二次サポートベクターマシン、線形サポートベクターマシン、中(Medium)KNN、およびアンサンブルバギング木(Ensembled Bagged Tree)である。
【0138】
Cortimoによって収集されたデータを使用して、これらのモデルを訓練することができる。具体的には、NSP生データファイルまたはバイナリ特徴ファイルを、BCIシステムによって収集された訓練/ラベルバイナリデータファイルと効率的に組み合わせることができる。脳由来シグナルの自動ラベリングのためのユニークで非常に正確なタイムスタンプを使用することによって、システムは、データを特定のエポックにグルーピングすることができ、続いてこれは、エポック化されたシグナルから特徴を抽出し、それらを正しい出力ラベルと関連させることができる。このプロセスの終わりに、大きな訓練データセットが上述の分類モデルの最適化のために利用可能である。これらのモデルが訓練された後、3分割交差検証法を適用して、各訓練モデルおよび選択された特徴のパフォーマンスを評価することができる。最後に、Cortimoシステムは、要約パフォーマンス評価指標を有するレポートを作成することができる。オペレータは、種々の考慮に基づいて示唆された最良パフォーマンスのデコーダまたは他のデコーダを採用すべきか選ぶことができる。オペレータの選択に基づいて、デコーダを実装するために必要な情報をすべて含有する適切な設定ファイルが生成され、Cortimo GUIにロードされる。新たなまたは既存の設定ファイルがロードされた後、Cortimo BCIは実行時間の使用の準備ができている。
【0139】
さらに、Cortimoスイートは、制御すべき関節(例えば、手および肘)毎に1つずつ、別々のデコーダを実装することができる。これらのデコーダは異なることができ、異なる抽出特徴に依存することができる。言い換えると、併行しているが独立したシグナル処理およびデコーディングアルゴリズムを使用して2つの関節コマンドを導出することができる。
【0140】
コンポーネントの組み込みおよび安全性
すべてのCortimoソフトウェアコンポーネントは、既存のFDA承認ソフトウェアコンポーネントの作動の安全性および原理を変更しないように設計されている。さらにシステムは、すべてのコンポーネントが適切に実行されている場合にのみ作動するように設計されている。言い換えると、ただ1つの組み込みコンポーネントの機能不全により、ソフトウェアリアルタイム制御は、状況を管理するためにオペレータに対する一連の警告およびメッセージを促すことができる。
【0141】
原稿1
脳卒中は、身体障害の主因であり、2015年に4千2百万人の全世界有病数であって、米国単独で400万人を超える成人を冒し、新症例は年間800,000人である。脳卒中は、症例の80%に永続的な運動能力障害をもたらし、脳卒中生存者の半数は長期医療を必要とする。脳コンピュータインターフェース(BCI)技術は、その影響を受けて生きる人々において機能的独立性を回復させ、健康を増進するための潜在的解決を与える。過去十年に、皮質内BCI技術が進歩を続け、複数のグループが制御シグナルを導出して通信および制御を回復させるためにこのアプローチの安全性および効力を実証している。同時に、ウェアラブルロボット装具技術は、弱った肢を有する患者に利益を与えることができる。この単一患者パイロット臨床試験は、市販の動力腕装具を、最も一般的な形態の慢性脳卒中を有する成人における大脳皮質と連結できたことを証明しようとした。脳の運動中心から装具への直接路は、有用な手および腕機能を可能にするよう麻痺肢を鼓舞することもできる。
【0142】
いくつかのシグナル源が、麻痺した肢を動かすためのコマンドを提供するために加えられている。動力装具の筋電図的(EMG)制御または筋肉の機能的電気刺激(FES)は、ユーザが良好な制御シグナルを提供するために十分なもしくは信頼できる活動を生成できなかったせいで、または記録された筋肉の随意活動化(コマンドを生成することが意図された)が刺激装置の影響によって対抗されたせいで、問題があることが証明された。対側性に制御された電気刺激(健側の腕からの活動が麻痺腕への刺激をトリガする)は、弱い方の肢の機能を改善するために有用な治療的介入であるが、この人為的なコマンド源が、独立した腕の動きを可能にする連続装着デバイスにどのように一般化できるかは明らかでない。いくつかのグループが、ロボットブレース、ある場合にはFESを駆動するための制御シグナルを導出するために、コマンド源により近い頭皮EEGを探索している。EEG由来シグナルを使用することがリハビリテーション療法に有望であり得るものの、皮膚の汗および毛がインピーダンスを変動させ、シグナルの質を損なう可能性があるので、これは、日常的な独立した機能に実行可能でないであろう。同じ皮膚部位への接点のサブセットの日常的な適用であっても、皮膚の破損および蜂巣炎をもたらす可能性がある。さらにEEGシグナルは、入手可能なシグナルから容易に、信頼性高く導出することができるコマンドに限定される。対照的に、皮質内インターフェースは、高解像度多次元制御シグナルの豊かな供給源を与える。それは、それが健康な成人、非ヒト霊長類および脊髄または脳幹障害を有する人々におけるこのようなシグナルの起源であるからである。
【0143】
大多数の脳卒中は、大脳白質、および直接的な実質損傷さえ伴うにもかかわらず、皮質内神経運動補装具は、中脳よりも上の脳卒中を有する人々でテストされていない。運動皮質がこの大集団で信頼できるシグナル源のままであるかは分かっていない。皮質下脳卒中の上方の無傷皮質への微小電極アレイの埋め込みに基づく脳コンピュータインターフェースが、行動的に有用な独立随意運動を回復させることもできるという概念証明は、原則として、脳卒中によって引き起こされる運動欠陥を逆転させることもできる完全埋め込み可能な医療機器の開発をもたらすこともできる。
【0144】
方法
本試験の認可は、米国食品医薬品局(治験用医療機器の適用免除)およびトマスジェファーソンユニバーシティ施設内審査委員会によって授与された。この報告に記載された参加者は、写真、ビデオおよび参加者の保護された医療情報の一部が科学および教育目的で公表されることへの許可を提供している。インフォームドコンセント、医学的および外科的スクリーニング手順の完了後に、チタンペデスタルコネクタにつながった各々2つの8×8白金端微小電極アレイを含む2つのMultiPort(Blackrock Microsystems、UT)を、空気挿入技術を使用して中心前回の皮質に埋め込んだ。ヒト外科手順の詳細は、出版準備中であり、他の類似の研究に従った。治験選択基準はオンラインで入手可能である(Clinicaltrials.gov、NCT03913286を参照されたい)。本治験は、埋め込み相が最大3か月続くように計画された(図27)。
【0145】
参加者
参加者は、年齢35~40歳時に急性発症の高吸収域の左不全片麻痺および表出性失語として現れる右半球脳卒中を経験した右利き男性であった。発症時間が不明であり、診察時の高血圧が原因で、参加者は血栓溶解の候補ではなかった。CT血管造影は、右後大脳動脈閉塞およびP2近位部の左後大脳動脈の高度狭窄を示した。脳MRIは、右基底核/放線冠および右後頭葉に急性梗塞を示した。彼は、3週間の抗血小板薬二剤併用療法を開始され、次いで、アトルバスタチンおよび抗高血圧薬と併用した1日1回81mgのアスピリンに移行した。彼は、左不全片麻痺、嚥下障害、左同側半盲および高吸収域(dense)左視覚性無視を有し、入院患者リハビリテーションのために転院した。3か月を経て失語症および嚥下障害が回復し、彼は、持続的な左下垂足を有するものの独立して歩行することを学習した。神経画像検査は、多発性脳卒中、および無症候性脳卒中の既往の証拠を示した。参加者は、従来、健康状態が良好であり、糖尿病または喫煙などのいかなる公知の脳卒中リスク因子も有しなかった。大いびきの既往があり、参加者は、閉塞性睡眠時無呼吸について評価されていなかった。経胸壁および経食道心エコーは正常であり、連続的凝固性亢進パネルも同様であった。参加者は養子であり、生物学的家族歴は分からなかった。参加者は、未知起源の塞栓性脳卒中を有したと見なされた。脳卒中以来の連続した心電図検査は正常であったものの、参加者は、起こり得る発作性心房細動を調査するためにループレコーダーが計画されている。参加者は、学習障害を有し、脳卒中前に軽度認知障害を有したと推定された。正式なスクリーニング神経生理学テストは、神経認知問題を特定した(フルスケールIQ59)。また、適切なインフォームドコンセントを提供し、本治験に参加する能力が参加者に完全に残っており、本治験の要求および必要性を満たしていると結論した。参加者は、治験に参加し、自分の身元情報を公衆と共有する旨の口頭および文書の両方のインフォームドコンセントを提供した。参加者は、脳卒中の時点でフルタイム労働しており、脳卒中以来仕事に戻ることができていなかった。
【0146】
術前fMRI
参加者は、3T Philips Ingenia MRIスキャナを用いたMRIを受けた。構造位置決めのために1mm等方性3-D T2 FLAIR像を取得した。シングルショットエコープラナ勾配エコーイメージングシーケンスは、80ボリューム、繰り返し時間(TR)=2s、エコー時間(TE)=25msec、ボクセルサイズ=3×3mm2、スライス厚=3mm、体軸方向スライス=37を用いた。参加者に、MRIの間に自分の麻痺した左手の動きを思い描くように求めた。各運動治験は、20sの休息ブロックおよび20sの活動ブロックの繰り返しを特徴とするブロック計画からなる。このブロック計画を、合計240sのスキャンについての4回の間に繰り返した。視覚刺激は、休息時の3Dモデル肢を示す20sのビデオに続いて、所望のタスクを行っている肢の20sビデオを含んでいた。運動タスクは、手の開き/握りまたは腕伸展肘を含み、「能動的」(参加者がモーションを行った、または行うことを試みた)または「受動的」(医師が手で参加者の腕を動かした)のいずれかであった。能動的タスクにおいて、参加者はビデオでの動きに付いていく、または麻痺肢に関して付いていくことに集中するように命令された。タスクの優先順位付けは、参加者の能力の審査前訓練およびスキャンの間に観察されたBOLD活動化の検査に基づいた。モーション修正、スムージング、および一般化線形モデル推定を含む後処理は、SPMソフトウェア(www.fil.ion.ucl.ac.uk/spm)およびNordic brain EXソフトウェア(NordicNeuroLab, Bergen, Norway)を使用して行った。活動化の可視化のために統計地図を3D T2 FLAIR画像にオーバーレイした。
【0147】
Cortimoシステム
「Cortimo」は、全体システム(図28)を表すためにFDAに提供した呼称であって、それぞれが順に2つのマルチ電極アレイセンサ、ケーブル配線、増幅器、ソフトウェアおよび動力MyoPro装具を有する、2つの経皮Multiport(Blackrock Microsystems)を含んでいた。各センサは、3.3×3.3mmプラットフォームから1.5mm突出するシリコン微小電極の8×8アレイである。製造時に電極は、70KOhm~340KOhmの範囲のインピーダンスを有した。アレイを、術前fMRIによってガイドされたMI腕/手領野の表面に埋め込み、電極を皮質内に貫入させて、V層内のニューロンを記録することを試みた。記録された電気シグナルは、頭蓋にしっかりと固定されたTi経皮コネクタを経由して外部へと送る。記録セッションの間にコネクタに取り付けられたケーブル配線は、シグナルを外部増幅器およびシグナルを処理するコンピュータにルーティングし、それらを異なる出力、例えば、MyoProブレースのサーボモータ位置または神経カーソルの画面位置に変換する。現在このシステムは、経験のある技術者によって設定および管理されなければならない。
【0148】
MyoProブレース
MyoPro(Myomo, Inc, Cambridge, MA)は、麻痺腕を支援するように設計されたFDA認可済み筋電動力腕装具である。硬性ブレースは、接点が麻痺上肢の二頭筋および三頭筋の近位ならびに手関節屈筋および伸筋の遠位に載るように調整することができるソフトストレップに取り付けられた金属接点を組み入れている。センサは、基礎となる筋肉活動の二乗平均平方根を連続的に記録する。閾値は、それを超えるシグナルがMyoProモータの1つをトリガするように手作業で設定される。参加者に肘屈曲および伸展力が残存していたので、二頭筋活動化が肘屈曲をトリガし、三頭筋活動化が肘伸展をトリガするように、肘モータを設定した。手を開くために、筋電制御を使用する、またはBCIベース制御を使用するようにMyoProを設定した。参加者は手関節を随意的に伸展することも、指を開くこともできなかったので、デフォルト状態が手を開いた状態であり、十分な手関節屈筋活動を活動化することによってのみ閉じられるように筋電モードを設定した。
【0149】
セッションの記録
参加者に提供された、病院に隣接する仮住居での研究セッションが週5日計画された。セッションは、参加者の要望により中止または早期終了することができた。セッションは、神経記録およびスパイク識別と同時に開始する。初期セッションは、フィルタ構築および構造化臨床エンドポイント(カーソル制御)治験を含んだが、一方で、治験の最終月に、「無訓練」アルゴリズムを使用し、患者のケーブルが接続された後、参加者は、BCI制御された手のアクションに直接進んだ。コンピュータタスクのパフォーマンス、装具制御および作業療法の練習が続いた。フィルタ構築の直前に選択された電極および神経シグナルは、いかなる所与のセッションの装具制御治験についても一定を保った。
【0150】
デコーダフィルタの構築
二乗平均平方根マルチプライヤに基づいて電極チャネル毎のベースで自動閾値アプローチを使用してユニットを抽出した。セッション毎に、複数のチャネル(20~30)に由来する単一シグナルおよびマルチユニットデータまたは高周波数(100~1000Hz)局所フィールド電位を使用して、線形フィルタを作り出し、これらのリアルタイム多次元神経特徴を一次元または二次元(位置または速度)出力シグナルに変換した。麻痺手を開くおよび閉じることを想像すること、肘を受動的に屈曲および伸展すること、手を受動的に開くおよび閉じること、ならびに、いかなる具体的な命令もなしに、モニタに表示されたコンピュータカーソルの上下動を観察することを含む運動活動および運動イメージアプローチをフィルタ構築のためにテストした。画面でターゲットカーソルが1分間上下にゆっくりと動く(視野角20°で画面の上から下またはその反対に動くのに5秒)のを参加者が注視して、線形フィルタを構築するための訓練データを収集した。この予備フィルタを構築した後、新たな1分の再訓練セッションを行い、今度は、手動制御されたターゲットカーソルが、参加者によって神経制御された予測カーソルを伴った。この追加的な訓練セットを使用して、第2のフィルタが構築され、次いで、画面上側の位置ではアニメーションの妖精が一定距離(1cm)上昇し、画面下側の位置では妖精が同じ一定距離下降するように、予測された出力のy位置がゾーンに離散化される単純なターゲット獲得ゲームでフィルタを検査した。
【0151】
BCI装具の使用
次いで、別々の出力を使用して、MyoProの手ブレースモータを介して手の開きを制御した。画面上の上下マッピングを手の閉-開位置に変換した。次いで、参加者は、物体を握り、次いで落とすこと、アクションリサーチアームテスト、およびJebsen Taylor物品移動試験の変形を含む一連の機能的タスクを行った。参加者が着席および起立した状態の両方でこれらをテストした。
【0152】
「無訓練」マッピング
参加者が残存する指屈曲力で装具モータに過度の力を加えることを試みた場合、LFPシグナルのローリング1秒ベースラインを使用して、高ガンマ帯(100~500Hz)におけるスペクトルパワーを計算した新規な「無訓練」アプローチを展開した。すなわち、50Hz幅を有する非重複周波数ビンを使用して周波数帯100~500Hzでの平均スペクトル密度推定を計算するために長さ1秒のLFP連続電圧を使用した。Matlabペリオドグラム法を使用してスペクトル密度を計算した。長さ1秒のローリングウインドウを50%重複で使用して、値を500ms毎に更新した。20個の最も神経調節したチャネルから導出されたリアルタイムスペクトル特徴をチャネルにわたり平均して、500msソフトウェア更新毎に単一の高ガンマ帯の値を産生した。装具手の閉じは、0.5から3V2/Hzの範囲の休止ベースラインから10V2/Hzを超える値までのこの平均スペクトルパワーにおける増加によってトリガされ、この閾値を超えるリアルタイム値は、手運動を閉じさせる。
【0153】
作業および理学同時療法
初回脳卒中の60日後に急性期リハビリテーションから退院するので、参加者は、外来患者の理学および作業療法に登録された。デバイスの埋め込み前に、参加者は、作業療法スクリーニング相の6週間コースを完了した。デバイスの埋め込みの後、参加者は、作業療法を週2回、理学療法を週1回継続した。作業療法は、座っているおよび歩いている間、MyoProを着用しているおよび脱いでいる間、ならびに機能的活動のためにMyoProを使用している間の姿勢訓練に焦点を合わせていた。定時機能的電気刺激(例えば、ペンチ握りプログラム;XCite, Restorative Therapies)および振動療法を痙縮管理のために使用した。理学療法エクササイズは、肩甲骨可動化、可動域漸増、荷重負荷、左UE意志制御を助長するためのゲーム関連活動の集中使用、およびエアロビック耐久エクササイズを含んでいた。
【0154】
結果
参加者は、2020年秋に皮質内埋め込みを受け、治験の予定3か月持続期間に従って、3か月後の2021年1月に埋め込み物を除去された。試験の経過にわたり、参加者は、3つの軽度、および1つの重篤なデバイス関連有害事象を生じ、そのすべてが治療され、それらから回復し、政府規制機関に報告された。重篤な有害事象は、抗生物質外用レジメンおよび定期的な清浄化にもかかわらず、デバイス除去日の1週間前に左ペデスタル部位での頭皮感染が発生したことであった。この感染は、インフォームドコンセント書式およびコンセント面談において予期され、潜在的リスクとして記載されていた。左ペデスタル部位は、最初の手術の時点以来、課題となっていた。それは、ペデスタルの基部を露出したままにして、皮弁で正確に元通りにする(re-approximate)ことが不可能であったからである。この領域は保護され、肉芽を形成し、新たな皮膚が成長した。参加者は無熱、無症候であり、感染は、入念な視診によってのみ検出された。デバイス除去の前に、参加者を抗生物質で1日2回7日間治療した。デバイス除去時に採取されたペデスタル部位皮膚培養物は、汎感受性スタフィロコッカス・ルグドゥネンシス(staphylococcus lugdunesis)およびスタフィロコッカス・キャピティス(staphylococcus capitis)、ならびに酵母を明らかにし、適切な抗菌治療が提供された。隣接する骨から採取された培養物からは生物の増殖が見られなかった。デバイス除去時の感染の唯一の肉眼的証拠は、右ペデスタルに隣接する皮膚での小面積(約2cm3)の紅斑および脆弱な組織であった。参加者は退院して帰宅した。参加者は、進行中の神経外科的経過観察およびサーベイランスのため、ならびに進行中の外来患者作業療法での筋電MyoProの使用にさらなるパフォーマンス改善があればそれを追跡するために、Cortimo治験に残った。
【0155】
術前解剖学的および機能的神経イメージング
術前イメージングは、右レンズ核および放線冠を含む隣接する白質に古い梗塞を明らかにし、内包後脚の一部が、大きな古い右PCA梗塞と一緒に、2019年の急性脳卒中イメージングMRI以来進行していた(図29)。加えて、右中心前回のハンドノブ領域の皮質下白質および内面を伴うバンド様シグナル異常の小領域が特定された。これは、逆行性ニューロン変性を反映している可能性がある。DTIでは、古い梗塞からの右皮質脊髄路の領域に異方性度の広範な喪失があった。「想像された」左手運動パラダイムおよび受動運動パラダイムは、良好な一致で診断に役立った。高炭酸症の難題に続き、BOLDシグナルが中心前回で明らかであった。「想像された」左手運動パラダイムでは、中心前回のハンドノブ野の側面および中心後回の隣接部分を伴う中心溝に沿った予期された位置に活動化が認められた(図29C)。受動左肘運動パラダイムでは、この受動運動パラダイムの顕著な感覚コンポーネントを反映する活動化の後方および上方へのわずかに大きな伸展を伴って、既述の「想像された」運動タスクと良好な一致を示す活動化が、中心溝に沿って見られた。3D FLAIRシーケンスを使用して3D脳モデルをプリントして、より精密な術前計画のための手術野の3D視覚化を可能にした(図29D)。
【0156】
神経記録
明確なシングルユニットが256チャネルのうち87チャネルから記録された(図30)。神経活動は、無傷の右腕に加えて、麻痺左腕において現実の動きおよび試みた動きと相関した。様々なユニットの放電率は、3か月の持続期間の過程で徐々に発生した手関節伸展を含む特定の残存アクションと相関するように見えた(図31)。各チャネルで200ミリ秒毎に記録されたスパイクカウントを採取し、それらを漏洩積分器に通して実行し、次いでこれらの漏洩積分器の出力をすべてのチャネルにわたり合計することによって、本発明者らは、前腕の筋電図活動と比較して累積クロスアレイ発火率活動を視覚化することが可能であった(図31)。各セッションにおいて256個の電極のうち、本発明者らは、神経デコーディングのために最終的に使用された40チャネルを特定した。これらのチャネルを、手および肘の屈曲および伸展をコードした神経特徴の抽出のために使用した。以下の2つの主な手開閉デコーディングアプローチを使用した:1)一次元線形フィルタ連続出力に基づく別々の2状態分類器;2)ローリングベースライン正規化を伴う「無訓練」閾値交差アプローチ。
【0157】
装具制御
アクションリサーチアームテスト(ARAT)での左上肢スコアは、筋電制御下の装具なしで0、装具使用で5、および直接脳制御下の装具使用で10であった。手機能のJebsen-Taylor標準化テストの一コンポーネントでは、目標は、5つの缶を一度に1つずつ取り上げて、テーブル上の数インチ前方に動かすことである(サブテスト6で空のスープ缶についての通常時間は3.23秒であり、サブテスト7で中身の入った缶について3.30秒である)。手装具の設計がスープ缶をつかむ能力を妨げたので(例えば、ブレースは親指および次の2つの指を支援するだけである)、参加者は、テストの変形物を行った。参加者が筋電制御を使用して5つの薬瓶を取り上げ、動かし、離すのに146秒かかり、BCI制御下で同一のタスクを行うのに95秒かかった。別のタスクは、物体(例えば、ストレスボールまたはホワイトボード拭き)を右手でつかみ、それを麻痺した左手に置き、次いで左腕を伸展させて床方向に下げ、物体を大箱内に落とすことであった。次いで、このプロセスを立て続けに5回繰り返した。参加者を座らせて、両方のこれらのタスクを行った。筋電モードでのこの取り上げ-落とす-5回の2つの試行で、参加者の完了時間は128および222秒/試行であり、BCIモードでの同じタスクの5回の試行で、時間は81、106、137、214秒であった。これらの握る-移動-離すタスクを行うための合計時間を測定することに加えて、本発明者らはまた、手がターゲット位置になった後で物体を放すためにかかった時間を定量化した。手放しの時間は、筋電制御よりもBCI制御下で速かった(p=0.04、二標本t検定)。
【0158】
運動アウトカム
参加者がBCIに接続されていなかった場合、またはMyoPro装具を装着していた場合に、運動測定値を経時的に追跡し、埋め込み手順が麻痺した左腕および左脚の残存力を減らさなかったことを実証した。実際に、筋肉の力は左腕で増加した。脳卒中の時点以来の連続的神経学的試験は、手動の筋肉テストで随意の手関節伸展または指伸展の非存在(0/5)、治験参加から2か月で参加者は重力に逆らった随意の手関節伸展を一貫して示し始め(3/5)、時には指をわずかに随意伸展することが可能であった(2/5)。デバイス埋め込みの1か月前に、Fugl-Meyer上肢スコアは、左上肢について30(最大66のうち)であり;これは、2つのMultiportを埋め込んだ4週間後にスコア36に、埋め込みの7週間後にスコア38に増加した。参加者は臨床試験の間にボツリヌス毒素注射を受けず、いかなる種類の抗痙縮投薬も受けなかったにもかかわらず、肩の内旋および外旋に加えて、指、手関節、および肘の受動的な屈曲および伸展の動きについての痙縮のためのAshworthスケール変法の連続測定で徐々に減少している数に反映されるように、痙縮は時間と共に徐々に減少した。
【0159】
考察
このパイロット治験は、アンサンブルシングルユニット活動が、慢性皮質下脳卒中上方の病変部位同側脳皮質において活動を維持することを実証した。本発明者らの知るところでは、これは、中脳上部の脳卒中についての病変部位同側脳皮質における皮質内記録の最初の報告である。本治験は、単一ニューロンの動き関連活動が、機能的に有用な随意上肢運動を回復させる動力装具を制御するためにデコード使用できることを立証した。重要なことに、この脳コンピュータインターフェースシステムを、残存する非損傷の動きと、特に脳卒中後に一般的なように、非損傷の随意運動から随意運動の不在までの勾配を有する肢における動きと、同時に使用することができる。手関節屈曲に基づいた筋電アプローチは、随意手開放を可能にしたものの、このアプローチは、筋緊張の増加をトリガし、続いて装具の使用を遅らせた(運動が異常な緊張に対抗していたため):BCI制御モードは、本質的にこの問題を避けて、モータがより滑らかに素早く作動することを可能にする。筋電図記録は、参加者が、BCI制御の間に手関節屈筋に関与し続けた一方で、振幅が、異常に上昇したレベルからより正常な振幅に減少したことを実証した。
【0160】
本治験は、任意のデバイスの使用の非存在下での不全片麻痺上肢における随意運動制御を回復させることを意図しなかったが、たとえそうであっても、本発明者らは、力が向上し、痙縮が減少したことを見出した。これは、病変部位同側皮質への4つのアレイの埋め込みが既存の不全片麻痺を増悪しなかったことを示唆している(すなわち、これは手または腕の脱力を悪化させなかった)。実際に、介入後に手の機能が改善した。随意手関節および指伸展における予想外の改善に関する可能性のある一説明は、集中練習である。別の、参加者の向上した前腕機能に関するより推測的な説明は、BCI-装具制御のための病変部位同側皮質活動の毎日のエクササイズが、異常な運動相乗作用を正常化または代償する可塑性駆動応答を促進したというものである。
【0161】
様々なタスクについての治験の数が限られていることによって、筋電制御をBCI制御と比較する統計的検出力が低減されたものの、質的に、BCIモードでのより速い制御の傾向があるように見えた。これは、直接皮質記録から装具アクションをトリガすることが、筋電制御がそう見えるのと同じようには異常な前腕相乗作用を活動化しないという事実が原因であり得る。痙縮は、脊髄伸展反射での背側網様体脊髄路からの抑制減少をもたらす異常な可塑性および髄質抑制中心の皮質網様体促進の欠如を表し得る。内側網様体脊髄路および前庭脊髄路は対立せず、伸展反射の過興奮をもたらす。残存する手関節屈筋の活動化によって手の閉じがトリガされる筋電モードでは、この過興奮は、必然的にトリガされ、その結果、手を開くのに装具モータが「苦戦」しなければならず、そのプロセスを減速する。BCIモードでは、残存する手関節屈筋および伸筋活動がたとえ関与しても、程度はより少なく、その結果、異常な緊張が高まらず、装具モータが手のアクションをより容易に高速で達成できる。
【0162】
このパイロット試験は、使用可能な制御シグナルが病変部位同側脳皮質活動に存在することを暗示している。臨床的にスケーラブルであるために、将来のデバイスは、感染リスクを最小限にし、運動性を可能にするために完全に埋め込み可能でなければならない。完全に埋め込み可能なBCI(すなわち経皮コネクタなし)の出現と共に、より広い範囲の脳卒中生存者が利益を得ることもできる。慢性脳卒中を有する少なくとも1人で実証されたように、より広い臨床採用さえ得る場合がある選択肢は、直接皮質制御を、麻痺腕における埋め込み可能な機能的電気刺激と結合することであろう。直接皮質駆動末梢筋刺激は、日常生活で連続的に展開された場合、リハビリテーション上の利益および直接の機能的利益の両方を有する場合がある。完全に埋め込み可能な脳コンピュータインターフェースは、脳卒中患者が彼らの回復定常を打破することを助けるため、およびより大きな機能的独立性を達成するための医療機器の機会を表し得る。
【0163】
等価物
具体的な用語を使用して本発明の好ましい態様を記載してきたが、そのような記載は、単に例証を目的としたものであり、そして、以下の特許請求の範囲の精神または範囲から逸脱することなしに変更および変形を行ってよいことが理解されるべきである。本発明者らはさらに、それらの請求項に付与された範囲が、本出願(および本出願が優先権を取得する任意の出願)の出願日に存在する法律の下で利用可能な最も広範な解釈に従っていること、および本出願の優先日後の法律の変更(法定または判決による)により、添付された特許請求の範囲を狭めることが許されないことを要求する。
【0164】
参照による組み入れ
本明細書に引用される全ての特許、公開特許出願、および他の参考文献の全内容は、その全体が参照によって本明細書に明示的に組み入れられる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
【国際調査報告】