(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-10
(45)【発行日】2022-06-20
(54)【発明の名称】神経学的リハビリテーションのためのシステムおよび方法
(51)【国際特許分類】
A61H 3/00 20060101AFI20220613BHJP
A63B 69/00 20060101ALI20220613BHJP
【ＦＩ】
A61H3/00 Z
A63B69/00 B
【請求項の数】
21
(21)【出願番号】P 2019505329
(86)(22)【出願日】2017-04-14
(65)【公表番号】
(43)【公表日】2019-05-30
(86)【国際出願番号】 US2017027742
(87)【国際公開番号】W WO2017181093
(87)【国際公開日】2017-10-19
【審査請求日】2020-04-13
(31)【優先権主張番号】62/322,504
(32)【優先日】2016-04-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518364274
【氏名又は名称】メドリズムス，インコーポレイテッド
(74)【代理人】
【識別番号】110002572
【氏名又は名称】特許業務法人平木国際特許事務所
(72)【発明者】
【氏名】マッカーシー，オーウェン
(72)【発明者】
【氏名】ハリス，ブライアン
(72)【発明者】
【氏名】カルパシス，アレックス
【審査官】今関 雅子
(56)【参考文献】
【文献】特開２００６－１０２１５６（ＪＰ，Ａ）
【文献】特開２０１５－２０２１４０（ＪＰ，Ａ）
【文献】特開２００２－０６５８９１（ＪＰ，Ａ）
【文献】特開２００７－１９３９０７（ＪＰ，Ａ）
【文献】特表２００７－５２０３０９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１０／００７５８０６（ＵＳ，Ａ１）
【文献】伊藤友孝，「人体下肢の歩行計測・評価システムの構築」，ロボティクス・メカトロニクス講演会 ’０９ 講演論文集 Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００９ ＪＳＭＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ｍｅｃｈａｔｒｏｎｉｃｓ，社団法人日本機械学会，2009年05月24日，1P1-K05(1)～1P1-K05(4)
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｈ ３／００
Ａ６３Ｂ ６９／００
(57)【特許請求の範囲】
【請求項1】
音楽療法を提供することによる、物理的障害を有する患者のリハビリテーションのための方法であって、前記方法は、機械可読命令によって設定される１つ以上の物理的プロセッサを有するコンピュータシステム上で実装され、
前記機械可読命令が実行される時に前記方法が実行され、
前記方法は、
前記患者について、前記患者の反復的運動に関してセンサを用いて測定された生物力学的データを受信して、前記生物力学的データからベースライン条件を決定することと、
前記ベースライン条件に基づいて、一定の頻度を有するベースラインビートテンポを決定することと、
前記ベースラインビートテンポにおいてビート信号を有する音楽を、前記患者に提供することと、
関連付けられたベースラインビート信号にタイミングを合わせて各反復的運動を実行するよう前記患者に指示するためのキューを提供することであって、前記ビート信号はそれぞれ対応する出力時刻を有する、提供することと、
前記ベースラインビート信号にタイミングを合わせて前記患者によって実行される前記反復的運動に関する、前記患者の、タイムスタンプを付された生物力学的データを受信することと、
前記タイムスタンプを付された生物力学的データを解析して、前記患者が実行する複数の前記反復的運動それぞれのオンセット時刻を特定することと、
各前記反復的運動の各前記オンセット時刻と、前記関連付けられたビート信号に対応する各出力時刻とに基づき、エントレインメントパラメータを決定することであって、前記エントレインメントパラメータを決定することは、各反復的運動の前記オンセット時刻と、前記関連付けられたビート信号に対応する前記出力時刻との間の遅延を決定することを備え、前記エントレインメントパラメータは、ある時間的期間にわたって発生する複数の前記反復的運動のそれぞれについて個別に測定される遅延の関数として、各反復的運動について計算される、エントレインメントパラメータを決定することと、
前記エントレインメントパラメータに基づいて前記ベースラインビートテンポを変更することであって、前記変更することは、
‐ある時間的期間にわたって発生する複数の前記反復的運動のそれぞれについて個別に測定される、前記ビート信号と前記反復的運動の前記オンセット時刻との間の前記遅延が、実質的に一定である場合であって、かつ前記ベースラインビートテンポが目標ビートテンポ未満である場合に、前記ベースラインビートテンポを前記目標ビートテンポに向けて増加させることであって、変更後の前記ベースラインビートテンポは一定の頻度を有する、前記ベースラインビートテンポを前記目標ビートテンポに向かって増加させることと、
‐変更されたベースラインビートテンポが所定の目標ビートテンポに到達したか否かを判定することと、
を備える、前記ベースラインビートテンポを変更することと、
を備える、方法。
【請求項2】
前記センサを用いて前記患者から前記生物力学的データを測定することをさらに備える、請求項１に記載の方法。
【請求項3】
前記患者から前記生物力学的データを測定することは、前記患者に関連付けられるセンサを提供することと、
前記患者の運動に関連する加速度および圧力を測定することと
を備える、請求項２に記載の方法。
【請求項4】
前記タイムスタンプを付された生物力学的データを解析して、前記反復的運動のうち所与の反復的運動の対応するオンセット時刻を特定することは、前記患者の足に関連付けられた圧力センサが閾値を超える時刻を特定することを備える、請求項３に記載の方法。
【請求項5】
前記患者から前記生物力学的データを測定することは、画像キャプチャ装置を提供することと、
前記患者の運動に関連する動画をキャプチャすることと、
を備える、請求項２に記載の方法。
【請求項6】
前記患者に関連付けられたセンサから、前記データを前記コンピュータシステムへと送信することを備える、請求項２に記載の方法。
【請求項7】
前記患者から前記生物力学的データを測定することは、患者の歩行の、歩幅、歩調、速度、踵衝撃圧または対称性に対応するデータを抽出することを備える、請求項２に記載の方法。
【請求項8】
各反復的運動を実行するよう前記患者に指示するためのキューを提供することは、前記患者に視覚的または聴覚的キューを提供することを備える、請求項１に記載の方法。
【請求項9】
前記視覚的または聴覚的キューを前記患者に対して表示するためのディスプレイを有するハンドヘルド装置を提供することをさらに備える、請求項８に記載の方法。
【請求項10】
前記患者に音楽を提供することは、前記ベースラインビートテンポにおけるビート信号を有する音楽を選択することを備える、請求項１に記載の方法。
【請求項11】
前記患者に音楽を提供することは、前記ベースラインビートテンポにおけるビート信号を有するように既存の音楽を修正することを備える、請求項１に記載の方法。
【請求項12】
前記反復的運動は前記患者の歩行を含み、前記方法は、さらに、
前記生物力学的データを解析して、前記患者の歩行の対称性を分類することと、
前記患者の歩行が非対称であると考えられる場合に、前記患者の足の一方が動いている間に前記音楽に第１の修正を提供し、前記患者の足の他方が動いている間に前記音楽に第２の修正を提供することと、
を備える、請求項１に記載の方法。
【請求項13】
前記音楽の前記第１の修正および前記第２の修正は、互いに異なるものであり、コードの変化、音量の変化およびテンポの変化のうち少なくとも１つを含む、請求項１２に記載の方法。
【請求項14】
前記反復的運動は前記患者の歩行を含む、請求項１に記載の方法。
【請求項15】
音楽療法を提供することによる、物理的障害を有する患者のリハビリテーションのためのシステムであって、前記システムは、
前記患者と相互作用するためのプロセッサおよびディスプレイを有するハンドヘルド装置と、
前記患者に音楽を供給するために前記ハンドヘルド装置に接続される音楽提供装置と、
前記患者に関連付けられる１つ以上のセンサであって、前記患者の反復的運動に関連する生物力学的パラメータを測定する、センサと、
前記患者からの、タイムスタンプが付された生物力学的データと、タイムスタンプが付されたビート信号とを、前記ハンドヘルド装置に提供するための送信機であって、前記センサ内に備えられた送信機と、
前記ハンドヘルド装置と少なくとも間欠的に接続されるコンピュータシステムであって、機械可読命令によって設定される１つ以上の物理的プロセッサを有するコンピュータシステムと、
を備え、
前記機械可読命令は、
前記患者の反復的運動に関する、前記患者の生物力学的データを受信して、前記生物力学的データからベースライン条件を決定し、ただし前記生物力学的データは１つ以上のセンサのうち１つのセンサを用いて測定され、
前記ベースライン条件に基づいて、一定の頻度を有するベースラインビートテンポを決定し、
前記ベースラインビートテンポにおいてビート信号を有する音楽を、前記患者に提供し、ただし前記ビート信号はそれぞれ対応する出力時刻を有し、
前記ベースラインビート信号にタイミングを合わせて反復的運動を実行するためのキューを前記患者に提供するための指示を、前記ハンドヘルド装置に提供し、
前記患者の、タイムスタンプを付された生物力学的データと、タイムスタンプが付されたビート信号とを受信し、
前記生物力学的データを解析して、前記患者が実行する複数の前記反復的運動それぞれのオンセット時刻を特定し、
各前記反復的運動の各前記オンセット時刻と、前記関連付けられたビート信号に対応する前記出力時刻とに基づき、エントレインメントパラメータを決定し、ただし、前記エントレインメントパラメータは、各反復的運動の各前記オンセット時刻と、前記関連付けられたビート信号に対応する前記出力時刻との間の遅延を計算することによって決定され、
前記エントレインメントパラメータに基づいて前記ベースラインビートテンポを変更するための指示を前記ハンドヘルド装置に提供し、ここで、前記プロセッサは、ある時間的期間にわたって発生する複数の前記反復的運動のそれぞれについて個別に測定される遅延が実質的に一定であると判定することに応じて、および、前記ベースラインビートテンポが目標ビートテンポ未満であると判定することに応じて、前記目標ビートテンポに向けて前記ベースラインビートテンポを増加させるよう構成され、変更後の前記ベースラインビートテンポは一定の頻度を有するものであり、
目標ビートテンポに到達したか否かを判定する
ためのものである、システム。
【請求項16】
前記１つ以上のセンサは、前記患者の運動に関連する加速度および圧力を測定するためのセンサを備える、請求項１５に記載のシステム。
【請求項17】
前記１つ以上のセンサは、前記患者の運動に関連する動画をキャプチャするための撮像装置を備える、請求項１６に記載のシステム。
【請求項18】
前記ハンドヘルドまたは前記コンピュータに関連するプロセッサは、前記生物力学的データから、患者の歩行の、歩幅、歩調、速度、踵衝撃圧および対称性のうち１つ以上に対応するデータを抽出する、請求項１５に記載のシステム。
【請求項19】
前記反復的運動は前記患者の歩行を含み、前記コンピュータシステムは、機械可読命令によって設定され、
前記機械可読命令は、
前記生物力学的データを解析して、前記患者の歩行の対称性を分類し、
前記患者の歩行が非対称であると考えられる場合に、前記患者の足の一方が動いている間に前記音楽に第１の修正を提供するとともに前記患者の足の他方が動いている間に前記音楽に第２の修正を提供するための指示を前記ハンドヘルド装置に提供する
ためのものである、請求項１５に記載のシステム。
【請求項20】
前記音楽の前記第１の修正および前記第２の修正は、互いに異なるものであり、コードの変化、音量の変化およびテンポの変化のうち少なくとも１つを含む、請求項１９に記載のシステム。
【請求項21】
前記反復的運動は前記患者の歩行を含み、前記センサは触覚的フィードバック機構を備え、
前記コンピュータシステムは機械可読命令によって設定され、
前記機械可読命令は、
前記生物力学的データを解析して、歩行を開始する際の欠陥を分類し、
前記患者のイニシエーションに問題がある場合に、イニシエーションを支援するために前記センサから前記患者に触覚的フィードバックを提供するための指示を、前記ハンドヘルド装置に提供する
ためのものである、請求項１５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願への相互参照］
本出願は、「神経学的リハビリテーションのためのシステムおよび方法」と題する米国仮特許出願第６２／３２２，５０４号（２０１６年４月１４日出願、その全体が参照により援用される）の優先権を主張する。
本出願は、「神経学的リハビリテーションのためのシステムおよび方法」と題する米国仮特許出願第６２／３２２，５０４号（２０１６年４月１４日出願、その全体が参照により援用される）の優先権を主張する。
【0002】
［技術分野］
本開示は、概して、音楽療法を提供することによる、物理的障害を有するユーザのリハビリテーションのためのシステムおよび方法に関する。
本開示は、概して、音楽療法を提供することによる、物理的障害を有するユーザのリハビリテーションのためのシステムおよび方法に関する。
【0003】
［背景］
ここ１０年の制御された研究の多くは、神経学的リハビリテーションにおける音楽の臨床的役割を強調してきた。たとえば、管理された音楽療法は、認知、運動および言語の向上を直接的に可能にすると知られている。音楽を聴くプロセスは、多くの形態で脳の活動を向上させ、注意力、意味的処理、記憶、認知、運動機能および感情処理に関する脳の領域の、広範囲の双方向ネットワークを点火する。
ここ１０年の制御された研究の多くは、神経学的リハビリテーションにおける音楽の臨床的役割を強調してきた。たとえば、管理された音楽療法は、認知、運動および言語の向上を直接的に可能にすると知られている。音楽を聴くプロセスは、多くの形態で脳の活動を向上させ、注意力、意味的処理、記憶、認知、運動機能および感情処理に関する脳の領域の、広範囲の双方向ネットワークを点火する。
【0004】
臨床データは、記憶、注意力、実行機能および気分を向上させる音楽療法をサポートする。音楽の背後の神経機構に関するＰＥＴスキャン調査は、楽しい音楽が、皮質および皮質下部領域（腹側線条体、側坐核、小脳扁桃、島(insula)、海馬、視床下部、前被蓋領域、前帯(anterior cingulate)、眼窩前頭皮質、および腹内側前頭連合野を含む）の間の広範囲のネットワークを刺激し得るということを示した。前被蓋領域はドーパミンを生産し、小脳扁桃、海馬、前帯および前頭葉皮質への直接的な接続を有する。この中間皮質辺縁系（音楽により活性化され得る）は、興奮、感情、報酬、記憶注意、および実行機能を仲介する際に重要な役割を果たす。
【0005】
神経科学の研究は、音楽における記憶形成のための基本的組織化プロセスが、いかにして非音楽の記憶プロセスと機構を共有するかを示した。フェーズグルーピングの基礎、階層的抽象概念、および音楽的パターンは、非音楽的記憶プロセスのための時間的分割原理において直接の類似点を有する。これは、音楽によって活性化された記憶プロセスは、非音楽的プロセスを翻訳し向上させ得るということを示唆する。
【0006】
したがって、ユーザのアイデンティティの使用を保護するため、および、個人情報を提供するセキュリティのために、改善された装置、システムおよび方法に対するニーズが残存している。
［サマリー］
［サマリー］
【0007】
本開示の対象の一態様において、音楽療法を提供することによる、物理的障害を有する患者のリハビリテーションのための方法が提供される。本方法は、機械可読命令によって設定される１つ以上の物理的プロセッサを有するコンピュータシステム上で実装され、機械可読命令が実行される時に本方法が実行される。機械可読命令は、
患者から、患者の反復的運動に関する生物力学的データを受信して、ベースライン条件を決定することと、
ベースライン条件に基づいて、一定の頻度を有するベースラインビートテンポを決定することと、
ベースラインビートテンポにおいてビート信号を有する音楽を、患者に提供することと、
関連付けられたビート信号にタイミングを合わせて各反復的運動を実行するためのキューを、患者に提供することと、
ベースラインビート信号にタイミングを合わせて患者によって実行される反復的運動に関する、患者の、タイムスタンプを付された生物力学的データを受信することと、
生物力学的データを解析して、反復的運動の１サイクル以上のオンセット時刻を特定することと、
オンセット時刻および関連付けられたビート信号に基づき、エントレインメントパラメータを決定することと、
エントレインメントパラメータに基づいてベースラインビートテンポを変更することと、
目標ビートテンポに到達したか否かを判定することと、
を含む。
患者から、患者の反復的運動に関する生物力学的データを受信して、ベースライン条件を決定することと、
ベースライン条件に基づいて、一定の頻度を有するベースラインビートテンポを決定することと、
ベースラインビートテンポにおいてビート信号を有する音楽を、患者に提供することと、
関連付けられたビート信号にタイミングを合わせて各反復的運動を実行するためのキューを、患者に提供することと、
ベースラインビート信号にタイミングを合わせて患者によって実行される反復的運動に関する、患者の、タイムスタンプを付された生物力学的データを受信することと、
生物力学的データを解析して、反復的運動の１サイクル以上のオンセット時刻を特定することと、
オンセット時刻および関連付けられたビート信号に基づき、エントレインメントパラメータを決定することと、
エントレインメントパラメータに基づいてベースラインビートテンポを変更することと、
目標ビートテンポに到達したか否かを判定することと、
を含む。
【0008】
一部の実施形態では、本方法は、生物力学的データを測定することを含む。患者からの生物力学的データは、患者の運動に関連する運動、加速度および圧力を含む。一部の実施形態では、患者から生物力学的データを測定することは、患者の運動に関連する動画をキャプチャすることを含む。
【0009】
一部の実施形態では、患者から生物力学的データを測定することは、患者に関連付けられたセンサから、データをコンピュータシステムへと送信することを含む。
【0010】
一部の実施形態では、患者から生物力学的データを測定することは、患者の歩行の、歩幅、歩調、速度、移動距離、踵衝撃圧または対称性に対応するデータを抽出することを含む。
【0011】
一部の実施形態では、各反復的運動を実行するためのキューを患者に提供することは、患者に視覚的または聴覚的キューを提供することを含む。視覚的または聴覚的キューを表示するために、ハンドヘルド装置が提供されてもよい。
【0012】
一部の実施形態では、エントレインメントパラメータを決定することは、ビート信号と、各反復的運動のオンセット時刻との間の遅延を決定することを含む。
【0013】
一部の実施形態では、ビート信号と反復的運動のオンセット時刻との間の遅延が、実質的に一定である場合に、本方法は、ベースラインビートテンポを目標テンポに向けて増加させることを含む。
【0014】
一部の実施形態では、患者に音楽を提供することは、ベースラインビートテンポにおけるビート信号を有する音楽を選択することを含む。
【0015】
一部の実施形態では、患者に音楽を提供することは、ベースラインビートテンポにおけるビート信号を有するように既存の音楽を修正することを含む。
【0016】
一部の実施形態では、反復的運動は患者の歩行を含み、本方法は、さらに、
生物力学的データを解析して、患者の歩行の対称性を分類することと、
患者の歩行が非対称であると考えられる場合に、患者の足の一方が動いている間に音楽に第１の修正を提供し、患者の足の他方が動いている間に音楽に第２の修正を提供することと、
を含む。一部の実施形態では、音楽の第１の修正および第２の修正は、互いに異なるものであり、コードの変化、音量の変化およびテンポの変化のうち少なくとも１つを含む。
生物力学的データを解析して、患者の歩行の対称性を分類することと、
患者の歩行が非対称であると考えられる場合に、患者の足の一方が動いている間に音楽に第１の修正を提供し、患者の足の他方が動いている間に音楽に第２の修正を提供することと、
を含む。一部の実施形態では、音楽の第１の修正および第２の修正は、互いに異なるものであり、コードの変化、音量の変化およびテンポの変化のうち少なくとも１つを含む。
【0017】
一部の実施形態では、本方法はさらに、
生物力学的データを解析して、歩行を開始する際の欠陥を分類することと、
患者のイニシエーションに問題がある場合に、イニシエーションを支援するために患者に触覚的フィードバックを提供することと
を含む。
生物力学的データを解析して、歩行を開始する際の欠陥を分類することと、
患者のイニシエーションに問題がある場合に、イニシエーションを支援するために患者に触覚的フィードバックを提供することと
を含む。
【0018】
一部の実施形態では、本方法は、患者の物理的運動の態様に関する、タイムスタンプが付された注記をユーザが提供できるようにするユーザインタフェースを提供することをさらに含む。患者の物理的運動は、タイムスタンプを付された注記および生物力学的データに基づいて解析される。
【0019】
本開示の対象の別の態様によれば、音楽療法を提供することによる、物理的障害を有する患者のリハビリテーションのためのシステムが提供される。システムは、
患者と相互作用するためのディスプレイを有するハンドヘルド装置と、
患者に、ベースラインビートテンポにおけるビート信号を有する音楽を供給するためにハンドヘルド装置に接続される音楽提供装置と、
患者に関連付けられる１つ以上のセンサであって、患者の反復的物理的運動に関連する生物力学的パラメータを測定する、センサと、
患者からの、タイムスタンプが付された生物力学的データと、タイムスタンプが付されたビート信号とを、ハンドヘルド装置に提供するための送信機と、
ハンドヘルド装置と少なくとも間欠的に接続されるコンピュータシステムであって、機械可読命令によって設定される１つ以上の物理的プロセッサを有するコンピュータシステムと、
を含み、
機械可読命令は、
患者の反復的運動に関する、患者の生物力学的データを受信して、ベースライン条件を決定し、
ベースライン条件に基づいて、一定の頻度を有するベースラインビートテンポを決定し、
ベースラインビートテンポにおいてビート信号を有する音楽を、患者に提供し、
関連付けられたベースラインビート信号にタイミングを合わせて反復的運動を実行するためのキューを患者に提供するための指示を、ハンドヘルド装置に提供し、
患者の、タイムスタンプを付された生物力学的データと、タイムスタンプが付されたビート信号とを受信し、
タイムスタンプが付された生物力学的データを解析して、反復的運動の１サイクル以上のオンセット時刻を特定し、
オンセット時刻および関連付けられたビート信号に基づき、エントレインメントパラメータを決定し、
エントレインメントパラメータに基づいてベースラインビートテンポを変更するための指示をハンドヘルド装置に提供し、
目標ビートテンポに到達したか否かを判定する
ためのものである。
患者と相互作用するためのディスプレイを有するハンドヘルド装置と、
患者に、ベースラインビートテンポにおけるビート信号を有する音楽を供給するためにハンドヘルド装置に接続される音楽提供装置と、
患者に関連付けられる１つ以上のセンサであって、患者の反復的物理的運動に関連する生物力学的パラメータを測定する、センサと、
患者からの、タイムスタンプが付された生物力学的データと、タイムスタンプが付されたビート信号とを、ハンドヘルド装置に提供するための送信機と、
ハンドヘルド装置と少なくとも間欠的に接続されるコンピュータシステムであって、機械可読命令によって設定される１つ以上の物理的プロセッサを有するコンピュータシステムと、
を含み、
機械可読命令は、
患者の反復的運動に関する、患者の生物力学的データを受信して、ベースライン条件を決定し、
ベースライン条件に基づいて、一定の頻度を有するベースラインビートテンポを決定し、
ベースラインビートテンポにおいてビート信号を有する音楽を、患者に提供し、
関連付けられたベースラインビート信号にタイミングを合わせて反復的運動を実行するためのキューを患者に提供するための指示を、ハンドヘルド装置に提供し、
患者の、タイムスタンプを付された生物力学的データと、タイムスタンプが付されたビート信号とを受信し、
タイムスタンプが付された生物力学的データを解析して、反復的運動の１サイクル以上のオンセット時刻を特定し、
オンセット時刻および関連付けられたビート信号に基づき、エントレインメントパラメータを決定し、
エントレインメントパラメータに基づいてベースラインビートテンポを変更するための指示をハンドヘルド装置に提供し、
目標ビートテンポに到達したか否かを判定する
ためのものである。
【0020】
一部の実施形態では、１つ以上のセンサは、患者の運動に関連する動き、加速度および圧力を測定するためのセンサを含む。
【0021】
一部の実施形態では、１つ以上のセンサは、患者の運動に関連する動画をキャプチャするための画像キャプチャ装置を含む。
【0022】
一部の実施形態では、ハンドヘルドまたはコンピュータに関連するプロセッサは、患者の、動き、加速度、圧力データおよび動画のうち１つ以上から、患者の歩行の、歩幅、歩調、速度、移動距離、踵衝撃圧および対称性のうち１つ以上に対応するデータを抽出するよう構成される。
【0023】
一部の実施形態では、プロセッサが、ビート信号と、反復的物理的運動のオンセット時刻との間の遅延を決定する。
【0024】
一部の実施形態では、
反復的物理的運動は患者の歩行を含み、
コンピュータシステムは、機械可読命令によって設定され、
機械可読命令は、
生物力学的データを解析して、患者の歩行の対称性を分類し、
患者の歩行が非対称であると考えられる場合に、患者の足の一方が動いている間に音楽に第１の修正を提供するとともに患者の足の他方が動いている間に音楽に第２の修正を提供するための指示をハンドヘルド装置に提供する
ためのものである。
反復的物理的運動は患者の歩行を含み、
コンピュータシステムは、機械可読命令によって設定され、
機械可読命令は、
生物力学的データを解析して、患者の歩行の対称性を分類し、
患者の歩行が非対称であると考えられる場合に、患者の足の一方が動いている間に音楽に第１の修正を提供するとともに患者の足の他方が動いている間に音楽に第２の修正を提供するための指示をハンドヘルド装置に提供する
ためのものである。
【0025】
一部の実施形態では、
センサは触覚的フィードバック機構を備え、
コンピュータシステムは機械可読命令によって設定され、
機械可読命令は、
生物力学的データを解析して、歩行を開始する際の欠陥を分類し、
患者のイニシエーションに問題がある場合に、イニシエーションを支援するためにセンサから患者に触覚的フィードバックを提供するための指示を、ハンドヘルド装置に提供する
ためのものである。
センサは触覚的フィードバック機構を備え、
コンピュータシステムは機械可読命令によって設定され、
機械可読命令は、
生物力学的データを解析して、歩行を開始する際の欠陥を分類し、
患者のイニシエーションに問題がある場合に、イニシエーションを支援するためにセンサから患者に触覚的フィードバックを提供するための指示を、ハンドヘルド装置に提供する
ためのものである。
【0026】
本明細書に記載された装置、システムおよび方法の、上記の目的および他の目的、特徴および利点は、添付図面に例示されるように、特定の実施形態の以下の説明から明らかとなる。図面は必ずしも正確な縮尺ではなく、本明細書に記載の装置、システムおよび方法の原理を例示する際に強調がなされている。
【図面の簡単な説明】
【0027】
【図1】開示された事項の例示的な実施形態による、音楽療法を提供することによるユーザの治療のためのシステムを例示する図である。
【図2】開示された事項の例示的な実施形態による、音楽療法を提供することによるユーザのリハビリテーションのためのシステムのコンポーネントをいくつか例示する図である。
【図3】開示された事項の例示的な実施形態による、患者の生物力学的運動を測定するためのセンサの概略図である。
【図4】開示された事項の例示的な実施形態によるシステムのコンポーネントをいくつか例示する図である。
【図5】開示された事項の例示的な実施形態による、音楽療法を提供することによるユーザのリハビリテーションのためのシステムのコンポーネントの表示例の図である。
【図6】開示された事項の例示的な実施形態による解析プロセスの実装の１つのためのフロー図である。
【図7】開示された事項の例示的な実施形態によるプロセスの実装の１つのためのフロー図である。
【図8】開示された事項の例示的な実施形態によるプロセスの実装の１つのためのフロー図である。
【図9】開示された事項の例示的な実施形態によるプロセスの実装の１つのためのフロー図である。
【図10】開示された事項の例示的な実施形態によるプロセスの実装の１つのためのフロー図である。
【図11】開示された事項の例示的な実施形態による、音楽および患者の物理的運動を例示する時間プロットである。
【図12】開示された事項の例示的な実施形態による患者応答を示す図である。
【図13】開示された事項の例示的な実施形態による患者応答を示す図である。
【図14】開示された事項の例示的な実施形態による患者応答を示す図である。
【図15】開示された事項の例示的な実施形態による患者応答を示す図である。
【図16】開示された事項の例示的な実施形態による患者応答を示す図である。
【図17】開示された事項の例示的な実施形態による患者応答を示す図である。
【図18】開示された事項の例示的な実施形態による、患者の歩行訓練のための技術の実装を例示する図である。
【図19】開示された事項の例示的な実施形態による、患者の無視訓練のための技術の実装を例示する図である。
【図20】開示された事項の例示的な実施形態による、患者のイントネーション訓練のための技術の実装を例示する図である。
【図21】開示された事項の例示的な実施形態による、患者の音楽的刺激訓練のための技術の実装を例示する図である。
【図22】開示された事項の例示的な実施形態による、患者の総運動訓練のための技術の実装を例示する図である。
【図23】開示された事項の例示的な実施形態による、患者の握力訓練のための技術の実装を例示する図である。
【図24】開示された事項の例示的な実施形態による、患者の発話キュー訓練のための技術の実装を例示する図である。
【図25】開示された事項の例示的な実施形態による、最小意識患者の訓練のための技術の実装を例示する図である。
【図26】開示された事項の例示的な実施形態による、患者の注意力訓練のための技術の実装を例示する図である。
【図27】開示された事項の例示的な実施形態による、患者の注意力訓練のための技術の実装を例示する図である。
【図28】開示された事項の例示的な実施形態による、患者の注意力訓練のための技術の実装を例示する図である。
【図29】開示された事項の例示的な実施形態による、患者の機敏性訓練のための技術の実装を例示する図である。
【図30】開示された事項の例示的な実施形態による、患者の口運動訓練のための技術の実装を例示する図である。
【図31】開示された事項の例示的な実施形態による、患者の呼吸訓練のための技術の実装を例示する図である。
【発明を実施するための形態】
【0028】
［詳細な説明］
本発明は、概して、人間の行動および機能的変化を監視し方向付ける、動的閉ループリハビリテーションプラットフォームシステムを実装するためのシステム、方法および装置に関する。そのような変化は、音楽的リズム、ハーモニー、メロディ、および力キューによって時間的にトリガされる、言語、運動および認知におけるものである。
本発明は、概して、人間の行動および機能的変化を監視し方向付ける、動的閉ループリハビリテーションプラットフォームシステムを実装するためのシステム、方法および装置に関する。そのような変化は、音楽的リズム、ハーモニー、メロディ、および力キューによって時間的にトリガされる、言語、運動および認知におけるものである。
【0029】
本発明の様々な実施形態において、動的閉ループリハビリテーションプラットフォーム音楽療法システム１００が提供され（図１に例示される）、これはセンサコンポーネントおよびシステム１０２と、エッジ処理コンポーネント１０４と、収集コンポーネント１０６と、解析システム１０８と、音楽療法センター１１０とを含む。後により詳細に説明するように、センサコンポーネント、エッジ処理コンポーネント、収集コンポーネント機械学習プロセスおよび音楽療法センターは、様々なハードウェアコンポーネント上で提供されてもよい。たとえば、一実施形態では、センサコンポーネントおよびエッジ処理コンポーネントは、患者によって配置または着用されてもよい。そのような実施形態では、収集コンポーネントおよび音楽療法センターはハンドヘルドデバイス上で提供されてもよい。そのような実施形態では、解析システムはリモートサーバに配置されてもよい。
＜センサシステム＞
＜センサシステム＞
【0030】
本明細書の記載を通して、「患者」という用語は、音楽療法処置を受ける個人を参照するために用いられる。用語「セラピスト」は、音楽療法処置を提供する個人を参照するために用いられる。一部の実施形態では、患者は、処置を管理するセラピストがいなくても、本明細書に記載のシステムと相互作用することができる。
【0031】
センサコンポーネント１０２は、患者についての感知された生物力学的データを提供する。一部の実施形態では、センサコンポーネントは、（１）ウェアラブル無線リアルタイムモーション感知装置またはＩＭＵ（慣性測定ユニット）と、（２）ウェアラブル無線リアルタイム結合多ゾーン足プランタ圧／６次元モーションキャプチャ（ＩＭＵ）装置（センサ２００等）と、（３）ウェアラブル無線リアルタイム筋電図（ＥＭＧ）装置（センサ２０８等）と、（４）リアルタイム無線近赤外（ＮＩＲ）動画キャプチャ装置（撮像装置２０６等）とを含むことができる（図４参照）。
【0032】
図２に例示されるように、本明細書に記載のシステムおよび方法は、患者の歩行障害の治療に関して用いられる。したがって、例示のセンサ２００は、結合多ゾーン足プランタ圧／６自由度モーションキャプチャ装置であってもよい。センサ２００は、音楽療法セッション中に患者が歩行する間、患者の足の圧力と、６自由度のモーションプロファイルとを記録する。一部の実施形態では、足圧／６自由度モーションキャプチャ装置は、１～４個のゾーンを備える足圧プロファイルのための１００Ｈｚのサンプリングレートで、可変の記録時間インターバルを有し、結果として１足・１秒あたり１００～４００個の圧力データ点が得られる。
【0033】
センサ２００は、踵パッド（１ゾーンの圧力（踵衝撃圧等）を測定するためのもの）から全インソールパッド（４ゾーンの圧力を測定するためのもの）までを有する足圧パッド２０２を含んでもよい。圧力測定は、足に伝達された患者の体重に起因する圧縮の結果としての、トランスデューサ材料における抵抗変化を感知することによって行われる。これらの足圧マップは、サンプリングインターバルごとに、または、音楽療法セッション中の特定の時点において、取得される。
【0034】
センサ２００は、６次元モーションキャプチャ装置２０４（３次元（Ａｘ，Ａｙ，Ａｚ）における直線加速度および回転運動（ピッチ、ヨー、ロールとして）を決定する、６自由度マイクロ電気力学システム（ＭＥＭＳ）ベースのセンサを介して、動きにおける変化を検出する）を含んでもよい。１００Ｈｚでのサンプリングは、毎秒６００個のモーションデータ点を生産する。これらの足モーションキャプチャは、サンプリングインターバルごとに、または、音楽療法セッション中の特定の時点において、取得される。
【0035】
６自由度モーションキャプチャ装置を用いた多ゾーン圧力感知により、歩行中に、マッピング可能な空間的・時間的歩行力学追跡が可能になる。センサ２００の概略を図３に例示する。
【0036】
システムの観点では、図４に例示するように、患者Ｐは、２つの足センサ２００を各足について用いる（右２００Ｒおよび左２００Ｌとして示される）。例示的な実施形態では、右足センサ２００Ｒは、タイムスタンプが付された内部測定ユニットデータおよび踵衝撃圧データを、無線で、第１チャネル（たとえば、ＩＥＥＥ８０２．１５．４直接シーケンス拡散スペクトル（ＤＳＳＳ）ＲＦ帯ではチャネル５）上で伝送する。左足センサ２００Ｌは、タイムスタンプが付された内部測定ユニットデータおよび踵衝撃圧データを、無線で、第２チャネル（たとえば、ＩＥＥＥ８０２．１５．４直接シーケンス拡散スペクトル（ＤＳＳＳ）ＲＦ帯ではチャネル６）上で伝送する。右／左足センサＲＦデータをキャプチャするために、タブレットまたはラップトップ２２０（以下に説明するようにセラピストＴによって用いられてもよい）は、第１チャネルおよび第２チャネル（たとえばチャネル５および６）にチューンされたＩＥＥＥ８０２．１５．４ＤＳＳＳ ＲＦ送受信機を２個含む無線ＵＳＢハブを含む。動画を開始・停止させるために、および／または、時間ストリームに注釈を付しインデキシングする（以下により詳細に説明する）ために、ハンドヘルド無線トリガ２５０が用いられる。
【0037】
患者の、治療セッションについての意味的情報およびイベント情報を抽出するために、動画解析ドメインを用いてもよい。患者の行為および相互作用は、治療コンテキストおよび管理に影響する、治療の構成要素である。一部の実施形態では、１つ以上の画像キャプチャ装置２０６（動画カメラ等）（図４参照）が、時間同期された動画フィードとともに用いられる。患者の運動をキャプチャするために、任意の適切な動画をシステムに組み込むことができる。しかしながら、患者のプライバシーを保護し、処理すべき動画データを低減するために、近赤外（ＮＩＲ）動画キャプチャが有用である。ＮＩＲ動画キャプチャ装置は、患者の身体のＮＩＲ動画像（患者の胴体および四肢の位置等）をキャプチャする。さらに、ＮＩＲ動画キャプチャ装置は、音楽療法セッションの機能として、患者のリアルタイム動的歩行特性をキャプチャする。一部の実施形態では、静止したカメラを用いて動画がキャプチャされ、前景画素をセグメントアウトするために背景が減算される。
【0038】
図４に例示するように、１つ以上の動画カメラ２０６は、治療セッションが開始される時に、タブレットまたはラップトップのアプリケーションによってトリガされる。動画カメラ２０６は、ハンドヘルド無線トリガユニット２５０によって、セラピストによって停止または開始可能である。これにより、キャプチャされた生物力学的センサデータおよび動画データストリームにおいて、ラベリングされタイムスタンプが付されたインデックスを生成することができる。
【0039】
一部の実施形態では、ウェアラブル無線リアルタイム筋電図（ＥＭＧ）装置２０８が患者によって着用されてもよい。ＥＭＧセンサは、運動のための主な筋肉の発火についての２足プロファイルの全体を提供する。そのようなセンサは、筋肉が発火した正確な時刻に関するデータを提供する。
＜エッジ処理＞
＜エッジ処理＞
【0040】
一部の実施形態では、エッジ処理はセンサ２００において実行され、そこでセンサデータがＩＭＵおよび圧力センサからキャプチャされる。このセンサデータは、抽出された属性および特徴を反映するフレームへのさらなる処理のために、フィルタリングされ、様々な配列サイズにグルーピングされ、これらのフレームは、タブレットまたはラップトップの収集器１０６へと（たとえば無線で）送信される。代替的に、センサ２００から取得された生の生物力学的センサデータは、エッジ処理機能を実行するための収集のためにリモートプロセッサへと転送されてもよいということが理解される。
【0041】
ウェアラブルセンサ２００，２０８および動画キャプチャ装置２０６は、生物力学的特徴抽出および分類を容易にするために、全身的に処理されるセンサデータストリームを生成する。センサ融合（同じイベントをキャプチャする複数のセンサからの出力を結合すること）は、いかなる単一構成要素センサ入力よりも良い結果をキャプチャする。
【0042】
音楽療法のコンテキストで患者の活動をキャプチャすることは、音楽療法に適用される相互作用および音楽療法の性能および有効性の患者特定のおよび一般化された形式的インジケータを開発することを形式化する。動画特徴を抽出し、次いで解析することにより、患者の行動についての、意味的な、高レベルの情報をキャプチャすることができる。
【0043】
動画を処理する際に、音楽療法が発生する物理的領域内の照明条件および遮蔽におけるいかなる変化をも組み込んだ背景モデルを作成するために、学習された背景減算技術が用いられる。背景減算の結果は、前景の塊（２次元の輪郭である）の配列を伴う２値前景マップである。このように、動画は、将来の画像処理およびセンサ融合のために、個別の画像フレームへとスライスされる。動画情報は、ＩＭＵと、足圧パッド（複数可）と、ＥＭＧセンサとからのエッジ処理されたセンサデータをマージすることにより、追加のメタデータとともに提供される。ＲＦトリガを用い、センサデータを他のデータと同期させることもできる。データは、収集器に直接送信されてもよく、内部基板のメモリに記憶されてもよく、ＯｐｅｎＣＶライブラリを実行するエッジで解析されてもよい。
【0044】
エッジプロセッサ１０４は、マイクロプロセッサ（毎秒１００～４００個の完全な足圧／６自由度モーションプロファイルのレートでの高速多ゾーンスキャンを可能にする足圧／６自由度モーションキャプチャ装置に組み込まれた３２ビットマイクロプロセッサ等）であってもよい。
【0045】
足圧／６自由度モーションキャプチャ装置は、リアルタイム歩行解析のために足圧／６自由度モーションプロファイルデータを収集し、結果として、特徴抽出および分類が行われる。一部の実施形態では、足圧／６自由度モーションキャプチャ装置は、マイクロ制御ユニット（ＭＣＵ）、連続演算子処理（ＣＯＰ）、汎用入出力（ＧＰＩＯ）、シリアルペリフェラルインタフェース（ＳＰＩ）、割り込み要求（ＩＲＱ）を初期化し、マイクロ制御ユニット初期化（MCUInit）、汎用入出力初期化（GPIOInit）、シリアルペリフェラルインタフェース初期化（SPIInit）、割り込み要求肯定応答初期化（IRQInit）、割り込み要求肯定応答（IRQACK）、シリアルペリフェラルインタフェースドライバ読み出し（SPIDrvRead）およびIRQPinEnableを含むルーチンをコールすることにより、所望のＲＦ送受信機クロック周波数を設定する。MCUInitは、ＭＣＵウォッチドッグをオフにし、タイマーモジュールにバスクロック（BUSCLK）を３２のプレスケーリングで基準として使用させるマスター初期化ルーチンである。
【0046】
状態変数gu8RTxModeがSYSTEM_RESET_MODEに設定され、ルーチンGPIOInit、SPIInitおよびIRQInitがコールされる。状態変数gu8RTxModeがRF_TRANSCEIVER_RESET_MODEに設定され、ＩＲＱが宣言されるか否かを見るためにIRQFLAGがチェックされる。まずＲＦ送受信機割り込みがSPIDrvReadを用いてクリアされ、次に、ＲＦ送受信機がATTN IRQ割り込みについてチェックされる。最後に、MCUInitのために、物理ＭＡＣ層、IRQACK（ペンディング中のＩＲＱ割り込みにＡＣＫするために）およびIRQPinEnable（ピン、Enable、IE、およびIRQ CLRに対して、信号の負エッジで）をリセットするためにPLMEPhyResetに対してコールが行われる。
【0047】
足圧／６自由度モーションセンサ２００は、デフォルトの全足圧スキャンが行われることになるか、またはマッピングされた足圧スキャンが開始されることになるかを判定するために、足圧／６自由度モーション収集ノードからの応答を待つ（たとえば２５０ミリ秒）。マッピングされた足圧スキャンの場合には、足圧／６自由度モーション収集ノードは、適切な電極に、足圧スキャンマッピング構成データを送信する。
【0048】
解析パイプラインの一態様は、解析のために入力データ構造を定義する特徴ベクトルを作成するために用いられるそれらのキャプチャされたセンサ値およびそれらの結果としてのセンサ融合値を定義する特徴セット加工プロセスである。代表値はＡｘ（ｉ），Ａｙ（ｉ），Ａｚ（ｉ）およびＰｈ（ｉ）であり、ただしｉはｉ番目のサンプルであり、Ａｘ（ｉ）は足センサに対して横方向となるｘ方向の加速度であり、Ａｙ（ｉ）は足センサに対して前方となるｙ方向の加速度であり、Ａｚ（ｉ）は足センサに対して上方となるｚ方向の加速度であり、Ｐｈ（ｉ）は踵衝撃圧である。センサ値は表１に提示される。
【0049】
【表1】
【0050】
一部の実施形態において、センサ融合技術は、以下に説明するように、データの窓を導出するための、以下の例示的な特徴値の解析を「ゲート」するために、踵衝撃圧値Ｐｈ（ｉ）を用いる。たとえば、以下の表２に提示するように、踵圧が踵衝撃を示す閾値を超えることに基づいて「オンセット」（開始）を判断することができ、踵圧が踵離脱を示す閾値未満に落ちることに基づいて「停止」を判断することができる。踵衝撃圧は、「ゲート」解析のために利用可能なパラメータの一例であるということが理解される。一部の実施形態では、ＩＭＵセンサデータ、動画データ、および／またはＥＭＧデータを用いることによって「ゲーティング」が判断される。
【0051】
【表2】
【0052】
高レベルの特徴値は、融合センサ値（表３に提示される例示的値等）から計算される。
【0053】
【表3】
【0054】
本明細書に記載のシステムは、患者の生物力学的データに関して「ゲート」する、または、「窓」を提供する能力を提供する。生物力学的データのゲーティングは、患者の反復的な運動（患者が歩いている間の反復的な踏み出し等）に対して有用である。１つ以上の源（圧力センサ、ＩＭＵセンサ、動画データ、ＥＭＧデータ、等）からのセンサデータは、時間とともに繰り返される運動のサイクルを特定するために用いられる。たとえば、患者が歩く時には、患者の足が地面に接触し、その後地面を離れることに応じ、足の圧力が反復的に増減する。同様に、足の速度は、足が前方に動く際には増加し、足が地面に貼り付いている間はゼロに減少する。さらなる例として、患者の足のＹ位置または高さは、低位置（地面に接する）と高位置（踏み出しのほぼ中間点）との間でサイクルする。「ゲーティング」技術は、そのようなデータにおける繰り返されるサイクルまたは「窓」を特定する。患者の歩行の場合には、サイクルはステップごとに繰り返される。サイクル間のばらつきはあるが（たとえばステップ間で）、サイクルごとに特定のパターンが繰り返される。各サイクルのオンセット時刻（開始時刻）を選択することは、生物力学的パラメータの特定可能な点（最大または最小）を位置特定することを含む。オンセット時刻に対するパラメータは、利用可能なデータに基づいて選択される。したがって、一部の実施形態では、踵衝撃圧が閾値を超える瞬間を用いて、各サイクルのオンセット時刻の限界を定めてもよい。（たとえば図５を参照。圧力３１６ａおよび３１６ｂは周期的特性を含む）。「オンセット」は、圧力が閾値を超える瞬間に決定されてもよい。）同様に、足の速度が０に減少する時によってオンセット時刻の限界を定めてもよい。
【0055】
一部の実施形態では、生のフレームデータが前処理され、瞬時データを取得して「ゲーティング」し（たとえば窓を特定し）、その後その窓内のデータを解析して、アウトライアを特定し、データを解析する（たとえば指数解析、複数の窓内のデータを平均）。ＩＭＵデータおよび踵衝撃圧データの双方を含めることによるセンサデータの融合により、単一のセンサからのデータを用いるよりも、１回の踏み出し（または他の動き繰り返し単位）に対するより正確なオンセット時刻の特定が可能になる。１回の踏み出し内でキャプチャされるセンサデータは「窓」と考えられ、この解析から抽出される情報は、たとえば、歩幅、ステップカウント、歩調(cadence)、ステップが発生した時刻、移動距離、スタンスフェーズ／ゆれフェーズ、両支持時間、速度、対称性解析（たとえば左足と右足との）、外向きゆれ、足を引きずって歩くこと、力ベクトル、横方向加速度、ステップ幅、これらの寸法の変わりやすさ、上述の情報から導出される追加のパラメータ、等を含む。特徴抽出は、マイクロプロセッサチップ（たとえば３２ビットチップ）で処理可能である。無線同期ゲート生物力学的センサデータのキャプチャおよび動画データキャプチャ能力により、時系列テンプレートの作成が可能になる。
【0056】
データは、音楽療法セッション中に患者またはセラピストによってインデキシングすることができる。上述の「ゲーティング」機能は、特定の踏み出しまたはステップに例外条件を結びつけるために有用である。たとえば、セラピストは、患者の運動において、特定の例外条件または行動（異常または事件等）を観測する可能性がある。セラピストは、インデキシング機能により、音声制御またはハンドヘルドタブレットまたはラップトップ（図４に例示する無線トリガユニット２５０等）のユーザインタフェースを介して、例外条件または行動を開始（「記録」をキャプチャする等）することができる。タイムスタンプおよびコメントを含む注釈（歩行中の患者の「つまずき」の発生等）が作成されてもよい。このようなインデキシングは、時系列テンプレートの作成を容易にする。これらの時系列テンプレートは、機械学習アルゴリズム（非線形多層パーセプトロン（ＮＬＭＬＰ）、畳込みニューラルネットワーク（ＣＮＮ）、長短期記憶（ＬＳＴＭ）を伴うリカレントニューラルネットワーク（ＲＮＮ）等）を訓練するために、治療セッションイベントのレビューおよび時系列テンプレートの開発のために研究される。
【0057】
一実施形態では、エッジ処理１０４（たとえばセンサ２００）から収集器１０６にセンサデータを転送するために通信プロトコルが提供される。下記表４を参照。一部の実施形態では、通信が１００ｍｓを超えてアイドルである場合には、ＲＦはタイムアウトしている。
【0058】
【表4】
【0059】
一実施形態では、FootScanルーチンによって足圧センサゾーンスキャンが実行され、一方で、FootDataBufferIndexが初期化され、足圧センサゾーンが活性化される（出力[PTCDD_PTCDDN=Output]のためにＭＣＵ指示モードをイネーブルし、および関連するポートラインを低[PTCD_PTCD6=0]にすることによって）。足圧センサゾーンスキャンマップに基づいて足圧センサゾーンが活性化されると、ＭＣＵ各アナログ信号ポートに取り付けられた各足圧センサゾーンがサンプリングされ、その後、現時点の電圧読み取り値がこれらをデジタル形式（タイムゾーン足圧）に変換する。
【0060】
ＩＥＥＥ８０２．１５．４ＲＦパケットgsTxPacket.gau8TxDataBuffer[ ]を準備するために、いくつかの変数（FootDataBufferIndexおよびIMUBufferIndex等）が用いられる。これはFootDataBuffer[ ]およびIMUBuffer[ ]において用いられるデータを送信するためである。ＲＦパケットは、RFSendRequest(&gsTxPacket)ルーチンを用いて送信される。このルーチンは、gu8RTxModeがIDLE_MODEに設定され、RAMDrvWriteTxルーチンをコールするためのポインタとしてgsTxPacketを用いるか否かをチェックし、その後これがSPIDrvReadをコールしてＲＦ送受信機のＴＸパケット長レジスタコンテンツを読み取る。これらのコンテンツを用いて、マスク長設定を更新し、その後ＣＲＣに２を加算し、コードバイトに２を加算する。
【0061】
０×７Ｅバイトを送信するためにSPISendCharがコールされる。これは２番目のコードバイトである。その後、送信が行われたことを検証するために再びSPIWaitTransferDoneがコールされる。これらのコードバイトが送信されると、ｆｏｒループを用いてパケットの残りが送信される。ただしpsTxPkt→u8DataLength＋１は、SPISendChar、SPIWaitTransferDone、SPIClearRecieveDataRegに対するシーケンシャルの系列に対する反復の回数である。完了すると、送信すべきパケットがＲＦ送受信機にロードされる。ANTENNA_SWITCHが送信に設定され、LNA_ONモードがイネーブルされ、最後に、パケットを実際に送信するためにRTXENAssertコールが行われる。
＜収集器＞
＜収集器＞
【0062】
収集器１０６の主な機能は、エッジ処理１０４からデータをキャプチャし、解析システム１０８にデータを転送するとともに解析システム１０８から処理されたデータを受信し、音楽療法センター１１０にデータを転送することである（後述）。一部の実施形態では、収集器１０６は制御機能を提供し（たとえば、ログインするためのユーザインタフェース、システムを設定、ユーザと対話）、データを可視化／表示するための表示ユニットを含む。収集器１０６は、分類（たとえば横方向震え、非対称、不安定性、等）のための軽量解析または機械学習アルゴリズムを含んでもよい。
【0063】
収集器１０６は、エッジプロセッサ１０４から、身体、動き、およびローカリゼーションデータを受信する。収集器１０６において受信されるデータは、生であってもよく、収集器に転送される前にエッジ１０４において処理されたものであってもよい。たとえば、収集器１０６は、「窓」処理および特徴抽出に供される融合センサデータを受信する。転送されたデータは、２つのレベルのデータを含み得る：（１）表１に記載される、右／左足センサから送信されるＲＦパケット、（２）表２および表３に記載される、より高レベルの属性および特徴を含む右／左足センサからのＲＦパケットである。収集器１０６はローカルでデータを記憶する。一部の実施形態では、収集器１０６は、受信したデータから運動を分類する（たとえば、これをローカルに記憶されたモデル（解析システムから予めダウンロードされるか分類のために解析システムに送信される）と比較する）。収集器は、データを可視化／表示するための表示ユニットを含んでもよい。
【0064】
一部の実施形態では、収集器１０６は、メモリ、プロセッサおよびディスプレイを含むローカルコンピュータ上で動作する。収集器をインストールできる装置の例は、ＡＲ装置、ＶＲ装置、タブレット、モバイル装置、ラップトップコンピュータ、デスクトップコンピュータ、等を含む。図２は、ディスプレイ２２２を有し、収集器機能を実行するハンドヘルド装置２２０を例示する。一部の実施形態では、患者センサと収集器との間でデータを転送するための接続パラメータは、ウィンドウズ(登録商標)のデバイスマネージャ（たとえばボーレート：３８４００、データビット：８、パリティ：なし、ストップビット：１）の使用を含むようにされる。一部の実施形態では、収集器１０６は、音楽療法の患者によって保持または着用されるプロセッサを含む。一部の実施形態では、収集器１０６は、音楽療法の患者から離れたプロセッサ（セラピストによって持ち運ばれ、無線でまたは有線接続を介して音楽療法の患者に接続されるもの）を含む。
【0065】
一部の実施形態では、足圧／６自由度モーション収集ノードは、ＲＦ送信されたデータパケット（足圧／６自由度モーションキャプチャ装置からのリアルタイム足圧／６自由度モーションプロファイルデータを含む）をキャプチャする。これは、ＲＦ送受信機パケット受信割り込みのコールバック機能によって駆動されるＲＦパケット受信キューを作成する足圧／６自由度モーション収集ノードによって開始される。
【0066】
足圧／６自由度モーションキャプチャ装置２００からＲＦパケットが受信されると、まず、これが新たな足圧／６自由度モーションキャプチャ装置からのものであるのか、または、既存のものからであるのかを判定するためにチェックが行われる。これが既存の足圧／６自由度モーションキャプチャ装置からのものである場合、パケットをさらに解析する前に、連続的同期を判定するためにＲＦパケットシーケンス番号がチェックされる。これが足圧／６自由度モーションキャプチャ装置である場合には、足圧／６自由度モーションキャプチャ装置コンテキスト状態ブロックが作成され初期化される。コンテキスト状態ブロックは、たとえば足圧プロファイル、［追加の情報？］等の情報を含む。
【0067】
ノードツーノード通信のためのこのＲＦパケットセッションレベルプロセス上に、ＲＦパケットデータペイロードの解析がある。このペイロードは、６自由度モーションに従う現時点の可変圧力に基づく足圧プロファイルを含む。これは次のように構造化される：｜０×１０｜開始｜Ｆ１｜Ｆ２｜Ｆ３｜Ｆ４｜Ａｘ｜Ａｙ｜Ａｚ｜Ｐｉ｜Ｙｉ｜Ｒｉ｜ＸＯＲチェックサム｜。
【0068】
ＩＥＥＥ８０２．１５．４標準規格は最大パケットサイズ１２７バイトを規定し、時間同期メッシュプロトコル（ＴＳＭＰ）が動作のために４７バイトを予約するので、ペイロードのために８０バイトが残る。ＩＥＥＥ８０２．１５．４は２．４ＧＨｚ産業科学医療用（Industrial, Scientific, and Medical）（ＩＳＭ）帯無線周波数（ＲＦ）送受信機に適合している。
【0069】
ＲＦモジュールは、ＩＥＥＥ８０２．１５．４無線標準規格（ピアツーピア、スター、およびメッシュネットワークをサポートする）のために設計された完全な８０２．１５．４物理層（ＰＨＹ）モデムを含む。これは、要求される無線ＲＦデータリンクおよびネットワークを作成するためにＭＣＵと組み合わされる。ＩＥＥＥ８０２．１５．４送受信機は、５．０ＭＨｚチャネルでの２５０ｋｂｐｓＯ－ＱＰＳＫデータおよび全拡散スペクトル符号化および復号をサポートする。
【0070】
一部の実施形態では、制御、状態の読み取り、データの書き込みおよびデータの読み出しは、感知システムノード装置のＲＦ送受信機インタフェースポートを介して行われる。感知システムノード装置のＭＰＵは、インタフェース「トランザクション」（インタフェースバス上でバイト長データのバーストが複数送信される）を介して感知システムノード装置のＲＦ送受信機にアクセスする。各トランザクションは、トランザクションの種類によって３バースト長またはそれ以上である。トランザクションは、常に、レジスタアドレスに対する読み出しアクセスまたは書き込みアクセスである。いかなる単一のレジスタアクセスに関連するデータも、常に長さは１６ビットである。
【0071】
一部の実施形態では、足圧／６自由度モーション収集ノードのＲＦ送受信機の制御およびデータ転送は、シリアルペリフェラルインタフェース（ＳＰＩ）によって実現される。通常のＳＰＩプロトコルは８ビット転送に基づくが、足圧／６自由度モーション収集ノードのＲＦ送受信機は、より高レベルのトランザクションプロトコル（トランザクション毎の複数の８ビット転送に基づく）を課す。単一のＳＰＩ読み出しまたは書き込みトランザクションは、８ビットのヘッダ転送と、これに続く２つの８ビットデータ転送とからなる。
【0072】
ヘッダは、アクセスの種類およびレジスタアドレスを記述する。後続のバイトは、読み出しまたは書き込みデータである。また、ＳＰＩは、追加のデータ転送が発生し得る再帰的な「データバースト」トランザクションをサポートする。再帰モードは、主に、足圧／６自由度モーション収集ノードのＲＦの高速な設定およびパケットＲＡＭアクセスのためである。
【0073】
一部の実施形態では、足圧センサゾーンが逐次的にすべてスキャンされ、リセット条件または非活動パワーダウンモードまでこのプロセス全体が繰り返される。６自由度モーションは、ＭＣＵから慣性測定ユニット（ＩＭＵ）へのシリアルＵＡＲＴインタフェースによってキャプチャされる。すべての感知次元についてサンプリングレートは１００～３００Ｈｚであり（Ａｘ、Ａｙ、Ａｚ、ピッチ、ヨー、ロール）、サンプリングされたデータはIMUBuffer[ ]に格納される。
【0074】
ＴＸパケット長フィールドを更新するために、SPIDryWriteに対してコールが行われる。次に、状態レジスタをクリアするためにSPIClearRecieveStatRegに対してコールが行われ、続いて、ＳＰＩインタフェースを読み出しまたは書き込みに対して準備できた状態にするために受信データレジスタをクリアするためにSPIClearRecieveDataRegに対してコールが行われる。ＳＰＩインタフェースが準備できた状態で、SPISendCharに対してコールが行われ、１番目のコードバイトを表す０ｘＦＦキャラクタを送信し、その後、送信が行われたことを検証するためにSPIWaitTransferDoneがコールされる。
【0075】
図５は、ハンドヘルド装置のディスプレイ２２２上に提供され得る例示的出力３００である。たとえば、患者の歩行に対して治療が提供される時には、ディスプレイ出力３００は右足用部分３０２と左足用部分３０４とを含んでもよい。右足用の表示は、時間の関数として、加速度Ａｘ ３１０ａ、Ａｙ ３２１ａおよびＡｚ ３１４ａならびに足圧３１６ａを含む。同様に、左足用の表示は、加速度Ａｘ ３１０ａ、Ａｙ ３１２ａおよびＡｚ ３１４ａならびに足圧３１６ａを含む。
【0076】
分類は、データ（たとえば、センサ融合データ、特徴データ、または実世界イベント（たとえば、患者の活動または気質）に対する属性データ）の相関付けであると理解される。典型的には、分類は解析システム１０８上で作成され実行される。一部の実施形態では、収集器１０６はいくつかの「テンプレート」のローカルコピーを有する。このように、入力されるセンサデータおよび特徴抽出データは、収集器において、または解析システムにおいて分類され得る。
【0077】
コンテキストは、イベント、ステートメント、状況、またはアイデアについて設定を形成する環境または事実を表す。コンテキストアウエア（context-aware）なアルゴリズムが、環境に関連する「誰」、「何」、「いつ」、「どこ」と、そのアルゴリズムがあるデータに対して実行された時刻とを調査する。いくつかのコンテキストアウエアな行為は、アイデンティティ、位置、時刻、および実行中の行動を含む。決定論的行為を形成するためのコンテキスト的情報を用いる際には、患者と、環境と、音楽療法セッションとの間で、コンテキストインタフェースが発生する。
【0078】
音楽療法セッションに対する患者の反応コンテキストは、融合センサデータを解釈して、より高レベルの情報を推定するアルゴリズムのうち一層を含んでもよい。これらのアルゴリズムは、患者の反応コンテキストを蒸留する。たとえば、患者の生物力学的歩行シーケンスは、音楽療法セッションの特定の部分に関連して解析される。一例では、「横方向震え」は関心対象の分類器である。したがって、患者の歩行は、横方向震えがより少ない、より流動的なものになると決定される。
＜解析システム＞
＜解析システム＞
【0079】
解析システム１０８（しばしばバックエンドシステムと呼ばれる）は、大規模なモデル／アーカイブを記憶し、本明細書に記載のモデルを用いた機械学習／解析処理を含む。一部の実施形態では、アーカイブされたデータを閲覧するためのログインのためのウェブインタフェースと、ダッシュボードとが提供される。一部の実施形態では、解析システム１０８は、ハンドヘルドユニット（ハンドヘルド装置またはタブレット２２０等）上で実行される収集器１０６からのデータを受信するリモートサーバコンピュータに配置される。解析システム１０８の解析および機械学習機能を実行するために必要な処理能力は、ハンドヘルド装置２２０に配置されてもよいと考えられる。
【0080】
解析処理のために、収集器１０６から解析システム１０８へとデータが転送される。図６に例示するように、解析処理４００は、収集器１０６からデータを受信するユーザインタフェース４０２を含む。データベースストレージ４０４は、収集器１０６から入力されるデータを記憶するために受信する。予測モデルおよび分類器の作成および精緻化を容易にするために、解析処理（たとえばアンサンブル機械学習システム４１０）の訓練データおよび出力を、ストレージ４０４に記憶してもよい。データバス４０６は、解析処理を通してのデータの流通を可能にする。１つ以上の予測モデルを導出するために、訓練データに対して訓練処理４０８が実行される。アンサンブル機械学習システム４１０は予測モデルを利用する。アンサンブル機械学習システム４１０の出力は、これらの予測モデルの集約である。この集約出力は、テンプレート分類器４１２（震え、対称性、流動性、または学習された生物力学的パラメータ（エントレインメント(entrainment)、イニシエーション(initiation)、等））を用いる分類要求についても使用される。ＡＰＩ４１８が収集器および／または音楽療法センターに接続される。治療アルゴリズム４１４および予測アルゴリズム４１６は、多層パーセプトロンニューラルネットワーク、隠れマルコフモデル、放射基底関数ネットワーク、ベイズ推定モデル、等を含む。
【0081】
本明細書に記載のシステムおよび方法の例示的な用途は、患者の生物力学的歩行の解析である。歩行シーケンスは特徴抽出されて特性的特徴の系列となる。キャプチャされたセンサ融合データにおけるこれらの特徴および他の特徴の存在は、コンテキスト検出アルゴリズムに、患者の生物力学的歩行シーケンスが正当であるか否かを知らせる。生物力学的歩行シーケンスキャプチャには、頑強なコンテキスト検出が必要であり、これはその後、音楽療法の患者の代表的母集団にわたって抽象化される。
【0082】
そのような活動の一例は、ある時刻での患者の位置と、それらのその時点での音楽療法に対する反応とである。患者の音楽療法への反応の認識および相関付けにより、音楽療法患者応答の認識特化パターンが可能になる。その後、音楽療法患者の反応のベースラインを作成してそれらを将来の音楽療法患者の反応に相関させることにより、具体的な各音楽療法管理が、性能および有効性についてベンチマークされ解析される。
【0083】
モーション感知と組み合わせて、歩行の生物力学的キャプチャを伴う距離測度を用い、２つ以上の音楽療法セッション間の時間的・空間的変化／変位を用いて、患者経路軌跡が決定される。このセンサ融合データキャプチャから特徴が抽出され、キーとなる様々な患者療法応答をラベル付けするために分類される。初期の音楽療法応答パターン検出を可能にするために、さらなるセンサ融合データ解析はヒストグラムを用いる。
【0084】
音楽療法セッションのセンサ融合データの解析のために、初期には、マルコフ連鎖を利用した、患者個別のベイズ推定モデルが用いられる。連鎖の各状態が、音楽療法ベースラインセッションからキャプチャされた患者個別の応答パターンを表す。推定は、各サンプルインターバルにおける患者応答パターンの外観の知識と、直前の状態への時間的リンクとに基づく。
【0085】
予測ルーチン（多層パーセプトロンニューラルネットワーク（ＭＬＰＮＮ））は、トップ層ルートノードを有する、有向グラフのノードベースモデルを用いる。これは、後続のノードに到達するための要件を予測し、患者のセンサ融合データ特徴ベクトルを取得する。このセンサ融合データ特徴ベクトルは、時系列処理された動きデータと、音楽シグネチャデータと、さらなる処理のために特に重要な動画像データとを含む。この場合には、有向グラフは、上下逆に描かれた木（葉が木の底部にあり、根がルートノードである）のように見える。各ノードから、ルーチンが左に進むことができ、その場合には左はトップ層（ルートノードが配置されている）の下の次層の左ノードであり、左サブノードを次の観測対象ノードとして選択し、または、ルーチンが右に進むことができ、その場合には右はトップ層（ルートノードが配置されている）の下の次層の右ノードであり、これはインデックスが観測対象ノードに記憶されている特定の変数の値に基づく。この値が閾値未満である場合には、ルーチンは左ノードに進み、この値が閾値を超えている場合には、ルーチンは右ノードに進む。これらの領域（ここでは左および右）が予測器空間となる。
【0086】
モデルは２種類の入力変数を用いる：順序付き変数およびカテゴリ的変数である。順序付き変数は、閾値（これもノードに記憶される）と比較される値である。カテゴリ的変数は、それが特定の限定された値のサブセットに属しノードに記憶されているか否かをテストする離散値である。これは様々な分類処理に適用可能である。たとえば、震えを記述するために「軽度」、「中度」および「重度」を用いることができ、これがカテゴリ的変数の例である。逆に、値の細かく区分された範囲または数値尺度を用いて、同様に（ただし数値的に）震えを記述することができる。
【0087】
カテゴリ的変数が値の限定された集合に属する場合には、ルーチンは左ノードに進み、そうでなければルーチンは右ノードに進む。この決定を行うために、各ノードにおいて、エンティティの対（variable_index、decision_rule（閾値／サブセット））が用いられる。この対は分岐と呼ばれ、変数variable_indexに応じて分岐する。
【0088】
ノードに到達すると、そのノードに割り当てられた値が、予測ルーチンの出力として用いられる。多層パーセプトロンニューラルネットワークは、ルートノードから開始して再帰的に構築される。すべての訓練データ、特徴ベクトル、および応答が、上述のようにルートノードを分岐させるために用いられ、ここで、エンティティ（variable_index、decision_rule（閾値／サブセット））が予測領域を区分する。各ノードにおいて、分類および回帰のための二乗誤差合計のために、ジニ「純粋度」基準に基づいて、最良の主分岐に関する最適な決定規則が発見される。ジニ係数は、集合クラスにわたる総分散の測度に基づく。ジニ「純粋度」基準は小さいジニ係数値を指し、ノードが主に単一のクラスからの観測を含む（これは望ましい状態である）ことを示す。
【0089】
多層パーセプトロンニューラルネットワークが構築された後、それはクロスバリデーションルーチンを用いて刈り込まれてもよい。モデルの過適合を避けるために、木の枝の一部が刈り取られる。このルーチンはスタンドアロン決定に適用されてもよい。この決定アルゴリズム（ＭＬＰＮＮ）（上述）の顕著な特性の１つは、各変数の相対的決定力および重要度を計算する能力である。
【0090】
可変の重要度レーティングを用いて、患者の相互作用特徴ベクトルについて最も頻繁な相互作用の種類が決定される。パターン認識は、音楽療法応答および音楽療法イベントの様々なカテゴリを区別するのに適した決定空間の定義から開始される。決定空間は、Ｎ次元のグラフによって表すことができ、ただしＮは音楽療法応答および音楽療法イベントを表すと考えられる属性または測定値の数である。Ｎ個の属性は、グラフにプロット可能な特徴ベクトルまたはシグネチャを構成する。十分なサンプルが入力された後、決定空間は、様々なカテゴリに属する音楽療法応答および音楽療法イベントのクラスタを示し、これを用いて新たなベクトルがこれらのクラスタに関連付けられる。
【0091】
動的閉ループリハビリテーションプラットフォーム音楽療法システムは、パターンを学習および再現するために、いくつかのディープラーニングニューラルネットワークを利用する。一実施形態では、適応的な放射基底関数（ＲＢＦ）モデル生成器を用いて非線形決定空間が構築される。新たなベクトルは、ＲＢＦモデルを用いて、および／または、Ｋ近傍分類器を用いて計算することができる。図６は、動的閉ループリハビリテーションプラットフォーム音楽療法システムの機械学習サブシステムのワークフローを例示する。
【0092】
図７は、いくつかの訓練サンプル５０２を含む教師あり訓練処理４０８を例示する。たとえば、入力は上記表３に記載されるような特徴であり、出力例は、震え、非対称性、力、これらの項目の程度、変化の予測、患者がいかによく回復しているかの分類、等の項目である。この処理の一部として、新たな出力が学習されるということが理解される。これにより、これが異なるユースケース（たとえば、様々な疾病状態、薬学との組み合わせ、プロバイダへの通知、フィットネス、および転倒防止）に適用される場合の、より高レベルの予測および分類の抽象化に対する基礎が提供される。これらの訓練サンプル５０２は、学習アルゴリズムＡ１ ５０４ａ，Ａ２ ５０４ｂ，Ａ３ ５０４ｃ，…，ＡＮ ５０４ｎによって実行され、Ｍ１ ５０６ａ，Ｍ２ ５０６ｂ，Ｍ３ ５０６ｃ，…，ＭＮ ５０６ｎにおいて予測モデルが導出される。例示的なアルゴリズムは、多層パーセプトロンニューラルネットワーク、隠れマルコフモデル、放射基底関数ネットワーク、ベイズ推定モデルを含む。
【0093】
図８は、複数の予測結果データ６０６ａ、６０６ｂ、６０６ｂ、…、６０６ｎを提供するための、サンプルデータ６０２（たとえば特徴抽出データ）に関する予測モデルＭ１ ５０６ａ、Ｍ２ ５０６ｂ、Ｍ３ ５０６ｃ、…、ＭＮ ５０６ｎの集約としてのアンサンブル機械学習システム４１０を例示する。集約層６０８（たとえば決定規則および投票を含む）は、複数の予測モデルが与えられた場合に出力６１０を導出するために用いられる。
【0094】
ＭＲ ＣｏｎｖＮｅｔシステムは２つの層を有し、第１層は平均プーリングサポートを伴う畳込み層である。ＭＲ ＣｏｎｖＮｅｔシステムの第２層は、多項式論理回帰をサポートする全結合層である。多項式論理回帰（Ｓｏｆｔｍａｘとも呼ばれる）は、複数のクラスを扱うための論理回帰の一般化である。論理回帰の場合には、ラベルは２値である。
【0095】
Ｓｏｆｔｍａｘは、あり得べき様々な出力の確率を予測するために用いられるモデルである。以下では、Ｓｏｆｔｍａｘの最終出力層を介してｍ個の離散的なクラスを持つ多クラス分類器を想定する：
Y1 = Softmax (W11*X1 + W12*X2 + W13*X3 + B1) [1]
Y2 = Softmax (W21*X1 + W22*X2 + W23*X3 + B2) [2]
Y3 = Softmax (W31*X1 + W32*X2 + W33*X3 + B3) [3]
Ym = Softmax (Wm1*X1 + Wm2*X2 + Wm3*X3 + Bm) [4]
一般的に:Y = softmax (W*X + B) [5]
Softmax (X)i = exp (Xi)/ exp (Xj)の合計（j=1からNまで）[6]
ただし、Ｙ＝分類器出力、Ｘ＝サンプル入力（すべてスケーリングされた（正規化された）特徴値）、Ｗ＝重み行列である。分類は、たとえば、非対称性をスコアリングする（「適度な非対称性スコア、１０のうち６（高レベルの非対称性１０～非対称性なし０）」のように）か、または歩行流動性をスコアリングする（「歩行流動性スコア１０のうち８、通常」等）。解析パイプラインは図９に示す。
Y1 = Softmax (W11*X1 + W12*X2 + W13*X3 + B1) [1]
Y2 = Softmax (W21*X1 + W22*X2 + W23*X3 + B2) [2]
Y3 = Softmax (W31*X1 + W32*X2 + W33*X3 + B3) [3]
Ym = Softmax (Wm1*X1 + Wm2*X2 + Wm3*X3 + Bm) [4]
一般的に:Y = softmax (W*X + B) [5]
Softmax (X)i = exp (Xi)/ exp (Xj)の合計（j=1からNまで）[6]
ただし、Ｙ＝分類器出力、Ｘ＝サンプル入力（すべてスケーリングされた（正規化された）特徴値）、Ｗ＝重み行列である。分類は、たとえば、非対称性をスコアリングする（「適度な非対称性スコア、１０のうち６（高レベルの非対称性１０～非対称性なし０）」のように）か、または歩行流動性をスコアリングする（「歩行流動性スコア１０のうち８、通常」等）。解析パイプラインは図９に示す。
【0096】
Ｓｏｆｔｍａｘ回帰は、２を超える多数のクラスを扱うことができる。論理回帰については、P(x) = 1/ (1 + exp(-Wx))であり、ただしＷはコスト関数を最小化するために学習されたモデルパラメータを含む。また、ｘは入力特徴ベクトルであり、
((x(1), y(1)),…,(x(i), y(i))) [7]
が訓練セットを表す。多クラス分類については、２値の場合における１および０に代えて、ｙが各クラスを表すＮ個の異なる値を取り得る場合に、Ｓｏｆｔｍａｘ回帰が用いられる。したがって、訓練セット((x(1), y(1)),…,(x(i), y(i)))については、y(n)は１～Ｎクラスの範囲内の任意の値であり得る。
((x(1), y(1)),…,(x(i), y(i))) [7]
が訓練セットを表す。多クラス分類については、２値の場合における１および０に代えて、ｙが各クラスを表すＮ個の異なる値を取り得る場合に、Ｓｏｆｔｍａｘ回帰が用いられる。したがって、訓練セット((x(1), y(1)),…,(x(i), y(i)))については、y(n)は１～Ｎクラスの範囲内の任意の値であり得る。
【0097】
次に、p(y = N|x;W)は、i = 1,…,Nの各値に対する確率である。以下に、Ｓｏｆｔｍａｘ回帰処理を数学的に例示する：
Y(x) = (p(y = 1|x;W), p(y = 2|x;W), … p(y = N|x;W)) [8]
ただしＹ（ｘ）は仮説に対する回答であり、これは、入力ｘが与えられると、すべてのクラスの確率分布を、それらの正規化された合計が１となるように出力する。
Y(x) = (p(y = 1|x;W), p(y = 2|x;W), … p(y = N|x;W)) [8]
ただしＹ（ｘ）は仮説に対する回答であり、これは、入力ｘが与えられると、すべてのクラスの確率分布を、それらの正規化された合計が１となるように出力する。
【0098】
ＭＲ ＣｏｎｖＮｅｔシステムは、各生物力学的テンプレートフィルタ（ベクトルとして）と、各窓内の生物力学的データフレーム（ベクトルとして）とを畳み込み、特徴応答を平均する平均プール関数を用いて応答を生成する。畳み込み処理は、任意のバイアスを加算してＷｘを計算し、これを論理回帰（シグモイド）関数に受け渡す。
【0099】
次に、ＭＲ ＣｏｎｖＮｅｔシステムの第２層において、サブサンプリングされた生物力学的テンプレートフィルタ応答が、２次元行列（各列が窓内の生物力学的データフレームをベクトルとして表す）へと移動する。この時点でＳｏｆｔｍａｘ回帰活性化処理が次式を用いて開始される：
Y(x) = (1/(exp(Wx) + exp(Wx) + …. + exp(Wx)) * (exp(Wx), exp(Wx), … , (exp(Wx)) [9]
Y(x) = (1/(exp(Wx) + exp(Wx) + …. + exp(Wx)) * (exp(Wx), exp(Wx), … , (exp(Wx)) [9]
【0100】
ＭＲ ＣｏｎｖＮｅｔシステムは、コスト関数Ｊ（Ｗ）が定義され最小化される最適化アルゴリズム（勾配降下法）を用いて学習される。
J(W) = 1/j*((H(t(j = 1), p(y = 1|x;W) + H(t(j = 2), p(y = 2|x;W) + … + H(t(j), p(y = N|x;W)) [10]
ただしｔ（ｊ）は目標クラスである。これによりｊ個の訓練サンプルにわたるクラスエントロピーをすべて平均する。クロスエントロピー関数は：
H(t(j), p(y = N|x;W) = - t(j = 1)* log(p(y = 1|x;W)) + t(j = 2)* log(p(y = 2|x;W)) + … + t(j )* p(y = N|x;W) [11]
J(W) = 1/j*((H(t(j = 1), p(y = 1|x;W) + H(t(j = 2), p(y = 2|x;W) + … + H(t(j), p(y = N|x;W)) [10]
ただしｔ（ｊ）は目標クラスである。これによりｊ個の訓練サンプルにわたるクラスエントロピーをすべて平均する。クロスエントロピー関数は：
H(t(j), p(y = N|x;W) = - t(j = 1)* log(p(y = 1|x;W)) + t(j = 2)* log(p(y = 2|x;W)) + … + t(j )* p(y = N|x;W) [11]
【0101】
図１０において、アンサンブル機械学習システム４０８は複数の予測モデルを含む（たとえばテンプレート系列１（震え）７０６ａ、テンプレート系列２（非対称性）７０６ｂ、テンプレート系列３（流動性）７０６ｃ…追加のテンプレート（他の学習された生物力学的パラメータ、たとえばエントレインメント、イニシエーション、等）７０６ｎ（条件付けられた入力７０２に適用される）（たとえば、以下のものであってもよい：右および左特徴の歩幅（ｘ１，ｘ２）、右および左特徴の歩幅の分散（ｘ３，ｘ４）、歩調右および左特徴（ｘ６，ｘ７）、歩調右および左特徴の分散（ｘ８，ｘ９）、等）（ここではサンプル（ｘ１，ｘ２，…，ｘｎ）はベクトルＸとして参照され、これがＭＬアルゴリズムのアンサンブルにおいて７０２に入力される）。これらは、条件付けられた参照正規化および／またはスケーリングされた入力である。集約分類器７０８は、そのような情報を、震えスケール、対称性スケール、流動性スケール、等として出力する。
＜音楽療法センター＞
＜音楽療法センター＞
【0102】
音楽療法センター１１０は、プロセッサ（たとえばハンドヘルド装置または図２のラップトップコンピュータ２２０）上で実行される意思決定システムである。音楽療法センター１１０は、収集器１０６において特徴付き抽出センサデータから入力を取得し、治療を提供するためにこれらを定義されたプロセスと比較し、その後、音楽提供システム２３０を介して再生される聴覚的刺激の内容を伝達する。
【0103】
本発明の各実施形態は、コンテキスト情報を用いて、ある状況がなぜ起きているかを決定し、その後、観測された行動を符号化し、これによって、閉ループ式に、システム状態（したがって音楽療法セッション）に動的かつ調節された変化を発生させる。
【0104】
患者と音楽療法セッションとの間の相互作用は、音楽療法患者のコンテキストアウエアネス（動き、姿勢、踏み出しおよび歩行反応を含む）を決定するためのリアルタイムデータを提供する。入力データが感知ノードにより（センサにおいて）収集されると、埋め込まれたノードがコンテキストアウエアデータを（エッジ処理において）処理し、即時の動的行動を提供し、および／または、解析システム１０８（たとえば、記憶およびさらなる処理および解析のための柔軟なネットワークベースのプロセッシングクラウド環境）にデータを送信する。
【0105】
プログラムは、入力に基づき、任意の既存の歌曲コンテンツを取得し、歩調、メジャーコード／マイナーコード、拍子および音楽的キュー（たとえば、メロディ的、ハーモニー的、リズム的、および強さのキュー）を変更する。システムは、既存の歌曲にメトロノームを重ねてもよい。ビートがいつ発生するかの正確な知識を用いてエントレインメントポテンシャルを計算できるように、歌曲コンテンツはビートマッピングされてもよく（たとえばＡＶまたはＭＰ３ファイルに応答してＷの場合）、またはＭＩＤＩ形式であってもよい。患者に取り付けられるセンサは、音楽コンテンツにおいて触覚的／振動フィードバックパルスを提供するよう構成され得る。
＜実施例＞
＜実施例＞
【0106】
本方法の例示的な応用がここに記述される。歩行訓練は、患者のために再生されている音楽のビートと、音楽の各ビートに応じて患者が行う各ステップとのリアルタイムの関係を解析する。上述のように、繰り返されるデータの窓（各ステップまたは反復運動ごとにいくらかのばらつきがある）を決定するために、ゲーティング解析が用いられる。一部の実施形態では、窓の開始点は、踵衝撃圧が閾値（または他のセンサパラメータ）を超える時点として決定される。図１１は、音楽のビート（「ビート時刻」）と、患者によって行われるステップ（「ステップ時刻」）とを示す例示的な時間プロットである。このように、この場合のオンセット時刻は「ステップ時刻」に関連付けられる。とくに、このプロットは、音楽のビート時刻１１０１を「ビート時刻１」として示す。ある時間的期間の後、患者はビート時刻１００１に応じて、時刻「ステップ時刻１」においてステップを行う（すなわちステップ時刻１１０２）。エントレインメントポテンシャル１１０３は、ビート時刻１とステップ時刻１との遅延（存在する場合）を表す。
【0107】
図１２～１３は、本明細書に記載のシステムを用いた患者の歩行のエントレインメントの例を示す。図１２は「完全な」エントレインメント（たとえばエントレインメントポテンシャルが常に０である）を示す。これは、ビート時刻と、このビート時刻に応じて発生する関連付けられたステップ時刻との間に、遅延がないか、または遅延が無視できる場合に発生する。図１３はフェーズシフトエントレインメント（エントレインメントポテンシャルが０ではないが、一定であるかまたは時間に伴うばらつきが最小限である状態）を示す。これは、ビート時刻とステップ時刻との間の遅延が、時間経過しても一定して許容範囲内である場合に発生する。
【0108】
さらに図１１を参照して、ステップ時刻間の時間の長さに対するビート時刻間の時間の長さの比率として、ＥＰ比が計算される：
ただしビート時刻１ １１０１は、第１の音楽ビートの時刻に対応し、ステップ時刻１ １１０２は、ビート時刻１に応じた患者のステップの時刻に対応する。ビート時刻２ １１０６は、第２の音楽ビートの時刻に対応し、ステップ時刻２ １１０８は、ビート時刻２に応じた患者のステップの時刻に対応する。目標は、ＥＰ比＝１またはＥＰ比／係数＝１である。係数は以下のように決定される。
この係数により、起こり得るビートの分割または誰かが３ビートごとにステップしたり４ビートごとに３ステップしたりすることができる。これにより、様々なシナリオに対する柔軟性が提供される。
【数1】
【数2】
【0109】
図１４および図１５は、本明細書に記載の技術を用いた、時間にわたる患者のエントレインメント応答を例示する。図１４（左Ｙ軸：ＥＰ比、右Ｙ軸：１分あたりのビート数、Ｘ軸：時間）はドット１４０２の散布を示し、これは第１の患者の歩行のＥＰ比の平均を表す。このグラフは、＋０．１の上限１４０４と、－０．１の下限１４０６とを示す。線分１４０８は、時間にわたるテンポを示す（１分あたり６０ビート（ｂｐｍ）から開始され、ステップにおいて１００ｂｐｍまで増加する）。図１４は、テンポが６０ｂｐｍから１００ｂｐｍまで増加してもＥＰ比が１近く（±０．１）に留まっていることを示す。図１５は、第２の患者の歩行を示し、ここでも、テンポが６０ｂｐｍから１００ｂｐｍまで増加してもＥＰ比は１近く（±０．１）に留まっていることを示す。
【0110】
図１６および図１７（Ｙ軸：エントレインメントポテンシャル、Ｘ軸：時間）は、ビート時刻の変化（たとえばテンポの変化）、および／または、コードの変化、触覚的フィードバックの変化、足のキューイングの変化（たとえば、左－右または左－右－杖キューイング）、等に対する２人の患者の応答を例示する。図１６は時間ベースのプロットを示し、患者の歩行は「完全なエントレインメント」（一定の、０または無視できるエントレインメントポテンシャル）または一定フェーズシフトのエントレインメントポテンシャルで平衡する。この図に示すように、平衡が発生するまでは、ある時間的期間（プライム時間１６０２）が必要である。図１７は、患者の歩行が平衡しない場合の時間ベースのプロットを示す（たとえば、ビート時刻に対する変化の後に、完全なエントレインメントまたは一定フェーズシフトのエントレインメントポテンシャルに到達しない）。プライム時間は、エントレインメントの精度の測定とは分離されたデータセットを表すので、有用である。プライム時間パラメータは、適切さについて将来の歌曲をスクリーニングするために用いることもできる。たとえば、ある音楽作品が用いられた時に、患者が比較的長いプライム時間を示す場合には、その音楽作品は治療にはあまり有効ではない。
【0111】
図１８は、反復運動が歩行中の患者によって行われるステップを指す場合の、歩行訓練に有用な技術を例示する。歩行訓練は、患者の母集団と、診断と、個別化され個人向けとなった音楽介入を提供するための条件とに適応される。プログラムは、入力に基づき、適切な場合に、コンテンツ、歩調、メジャーコード／マイナーコード、拍子、および音楽的キュー（たとえば、メロディ的、ハーモニー的、および強さのキュー）を変更する。プログラムは、生年月日、リストされた音楽的好み、およびエントレインさせるテンポを用いて、音楽を選択し、定常ベースで用いる受動的音楽のプレイリストを提供することができる。歩行訓練に対するキーとなる入力は、物理的行動（たとえば歩行）を行っているユーザの歩調、対称性および歩幅とである。プログラムは、音楽のＢＰＭにおいて触覚的／振動フィードバックを提供するために、接続されたハードウェアを用いる。歩行訓練のための適切な母集団は、外傷性脳損傷（ＴＢＩ）、脳卒中、パーキンソン病、ＭＳおよび老化を伴う患者を含む。
【0112】
本方法はステップ１８０２において開始される。ステップ１８０４において、センサ（たとえばセンサ２００，２０６，２０８）からのデータに基づき、収集器１０６において生物力学的データが受信される。生物力学的データは、イニシエーション、歩幅、歩調、対称性、支援器具に関するデータ、またはそのような患者の特徴セット（解析システム１０８によって記憶され生成されたもの）を含む。生物力学的データパラメータの例は、上記表１、２および３にリストされる。１つ以上のデータ源から、ベースライン条件が決定される。第１に、音楽の再生なしでの患者の歩行が感知される。患者のイニシエーション、歩幅、歩調、対称性、支援器具に関するデータ、等に関するセンサおよび特徴データが、治療セッションのための患者のベースライン生物力学的データを構成する。第２に、同じ患者の以前のセッションからのセンサデータと、解析システム１０８からの任意のより高レベルな分類データとが、患者の履歴データを構成する。第３に、センサデータおよびより高レベルの分類データ（同様の状況に置かれた他の患者に対するもの）が、母集団データを構成する。このように、ベースライン条件は、（ａ）治療セッションに対する患者のベースライン生物力学的データ、（ｂ）患者の以前のセッションからのデータ、（ｃ）母集団データ、のうち１以上からのデータを含み得る。その後、ベースラインビートテンポがベースライン条件から選択される。たとえば、音楽を再生する前の患者のその時点での歩調と整合するように、ベースラインビートテンポを選択してもよい。代替的に、患者のその時点での歩調の数分の一または倍数として、ベースラインビートテンポを選択してもよい。他の代替例として、患者の以前のセッションにおいて用いられたベースラインビートテンポと整合するように、ベースラインビートテンポを選択してもよい。さらに他の代替例として、同様の物理的条件を有する他の患者について用いられたベースラインビートテンポに基づいて、ベースラインビートテンポを選択してもよい。最後に、上述のデータの任意のものの組み合わせに基づいて、ベースラインビートテンポを選択してもよい。このデータから、目標ビートテンポを決定することもできる。たとえば、目標ビートテンポは、他の同様の状況に置かれた患者によって示された改善を参照して、ベースラインビートテンポにおけるパーセント増分として選択されてもよい。テンポは、音楽におけるビートの頻度を指すものと理解される。
【0113】
ステップ１８０６において、ハンドヘルド装置２２０から音楽提供装置２３０（たとえばイヤーバドまたはヘッドホンまたはスピーカ）で患者に提供される音楽が、ベースラインテンポまたはベースラインテンポの分割で開始される。ベースラインテンポで患者に音楽を供給するために、データベースから一定のベースラインテンポを有する音楽が選択されるか、または既存の音楽が修正される（たとえば、ビート信号を一定のテンポで提供するために、選択的にスピードアップまたはスローダウンされる）。
【0114】
ステップ１８０８において、患者は音楽のビートを聞くよう指示される。ステップ１８１０において、患者はベースラインテンポで歩くよう指示される（左および右足についてキューを受けてもよい）。患者は、各ステップが音楽のビートによく一致するように（たとえば、ビートテンポに「タイミングを合わせて」）歩くよう指示される。ステップ１８０６、１８０８および１８１０は、セラピストによって、または、ハンドヘルド装置２２０での聴覚的または視覚的指示によって、開始されてもよい。
【0115】
ステップ１８１２において、患者に取り付けられたセンサ２００，２０６，２０８が用いられ、患者データ（踵衝撃圧、６次元運動、ＥＭＧ活動、患者の運動の動画記録、等）が記録される。すべてのセンサデータはタイムスタンプを付される。データ解析は、本明細書に記載の「ゲート」解析を含み、タイムスタンプ付きセンサデータに対して実行される。たとえば、センサデータ（たとえば踵衝撃圧）の解析は、各ステップのオンセット時刻を決定するために行われる。受信される追加のデータは、患者に提供される音楽の各ビート信号に関連付けられた時刻を含む。
【0116】
ステップ１８１４において、予測および分類のために、エントレインメントモデル（たとえば、解析システム１０８のアンサンブル機械学習システム４１０、または、収集器１０６にダウンロードされハンドヘルド装置２２０で実行されるモデル）に対する接続が行われる。（そのような接続は、すでに存在していてもよいし、この時点で開始されてもよいということが理解される。）そのような接続は、典型的には非常に高速または即時的である。
【0117】
ステップ１８１６において、解析システム１０８で実行される、任意で追加可能なエントレインメント解析が、センサデータに適用される。エントレインメント解析は、ビート信号と、患者によって行われる各ステップのオンセットとの間の遅延を判定することを含む。エントレインメント解析からの出力として、エントレインメントの精度（たとえば、エントレインメントポテンシャルおよびＥＰ比に関して上述されたように、ベースラインビートテンポと患者のステップとの瞬間的関係の測度）に関する判定が行われる。エントレインメントが正確でない場合（たとえば、エントレインメントポテンシャルが許容範囲内で一定でない場合）には、ステップ１８１８において調節が行われる（たとえば、ビートテンポをスピードアップまたはスローダウンさせる、音量を上げる、感覚入力を増大させる、メトロノームまたは他の関連する音声を重ねる、等）。エントレインメントが正確である場合（たとえば、エントレインメントポテンシャルが許容範囲内で一定である場合）にはステップ１８２０においてテンポに増分的な変化が加えられる。たとえば、ハンドヘルド装置で再生される音楽のベースラインテンポが、目標テンポに向かって（たとえば５％だけ）増加する。
【0118】
ステップ１８２２において、予測および分類のために、エントレインメントモデルに対して接続が行われる。（そのような接続は、すでに存在していてもよいし、この時点で開始されてもよいということが理解される。）ステップ１８２４において、任意で追加可能な対称性解析が、センサデータに適用される。対称性解析からの出力として、患者の歩行の対称性（たとえば、歩幅、スピード、スタンスフェーズ、ゆれフェーズ、等について、患者の左足の動きが、患者の右足の動きにいかによく整合しているか）に関して判定が行われる。ステップが対称的でない場合（たとえば、閾値未満である場合）には、ステップ１８２６において、ハンドヘルド装置によって患者に放送される音楽に調節が行われる。第１の修正は、患者の足の一方が動いている間に再生される音楽に対して行われてもよく、第２の修正は、患者の足の他方が動いている間に再生される音楽に対して行われてもよい。たとえば、一方（たとえば影響を受けた側）ではマイナーコード（または増大した音量、感覚的入力、テンポの変更、または音声／メトロノームの重畳）が再生され、他方（たとえば影響を受けていない側）ではメジャーコードが再生される。機械学習システム４１０は、前もって、そこに至るまでの各シナリオの「フィンガープリント」に基づいて（たとえば、非対称性を示す動きを解析することによって）、対称性問題がいつ到来するかを予測する。非対称性は、背景のある誰かが、その側がいかに影響を受けているか（および他方と比較して）を決定可能であるので、通常の歩行パラメータを比較することによって、決定可能である。
【0119】
ステップ１８２８において、予測および分類のために、エントレインメントモデルに対して接続が行われる。（そのような接続は、すでに存在していてもよいし、この時点で開始されてもよいということが理解される。）ステップ１８３０において、センサデータに対し、任意で追加可能なバランス中心解析（たとえば、患者が前に傾いているか否か）が実行される。この解析は、足センサの各出力を組み合わせることによって、また、動画出力を組み合わせることによって、実行されてもよい。バランス中心解析からの出力として、患者が前に傾いているか否かに関する判定が行われる。患者が前に傾いている場合には、ステップ１８３２において、患者に対して「まっすぐに立つ」ようキューが出される（セラピストによって、または、ハンドヘルド装置の聴覚的または視覚的指示によって提供される）。
【0120】
ステップ１８３４において、予測および分類のために、エントレインメントモデルに対して接続が行われる。（そのような接続は、すでに存在していてもよいし、この時点で開始されてもよいということが理解される。）ステップ１８３６において、センサデータに対し、イニシエーション解析（たとえば患者が歩行を開始する際にためらいまたは困難を示す）が行われる。イニシエーション解析からの出力として、患者がイニシエーションに関して問題を示すか否かに関する判定が行われる。患者がイニシエーションに関して問題を示す場合（たとえば、閾値未満である場合）には、ステップ１８３８において、患者に触覚的フィードバック（ビートテンポにおけるカウントダウン、または、歌曲の開始前のカウントダウンを含んでもよい）が提供されてもよい。
【0121】
ステップ１８４０において、患者が支援器具（たとえば杖、松葉杖、歩行器、等）を用いているか否かが判定されてもよい。一部の実施形態では、ハンドヘルド装置２２０は、患者またはセラピストが支援器具の使用に関する情報を入力するためのユーザインタフェースを提供する。杖が存在する場合には、ステップ１８４２において、解析が３つのメーター（たとえば、杖、右足、左足）に変更され、セラピストによって、または、ハンドヘルド装置上の聴覚的または視覚的指示によって提供される、「左足」、「右足」、「杖」によるキューイングが行われる。
【0122】
ステップ１８４４において、予測および分類のために、エントレインメントモデルに対して接続が行われる。（そのような接続は、すでに存在していてもよいし、この時点で開始されてもよいということが理解される。）任意で、エントレインメント解析１８４６（実質的にステップ１８１６において上述されるが、以下に記載される相違点を持つ）がセンサデータに適用されてもよい。たとえば、エントレインメントは、そのセッションのより前の時点からの、以前のエントレインメントデータ、その患者の以前のセッションからのデータ、または、他の患者のエントレインメントに関するデータと比較される。エントレインメント解析からの出力として、エントレインメントの精度（たとえば、患者の歩行がベースラインテンポにいかによく整合しているか）に関する判定が行われる。エントレインメントが正確でない場合には、ステップ１８４８において、上記ステップ１８１８において説明したのと同様の方法で調節が行われる。
【0123】
エントレインメントが正確である場合には、ステップ１８５０において、患者が目標テンポで歩行しているか否かの判定が行われる。目標テンポに到達していない場合には、本方法はステップ１８２０（上述）に進み、テンポに対して増分的な変更が行われる。たとえば、ハンドヘルド装置で再生される音楽のベースラインテンポが、目標テンポに向かって（たとえば５％だけ）増加または減少する。目標テンポに到達している場合には、患者はセッション内の残り時間について治療を継続してもよい（ステップ１８５２）。ステップ１８５４において、治療セッションでない場合に用いられる望ましいテンポでの音楽がキュレーションされ図２の装置２２０に残されてもよい。この音楽コンテンツは、専用の治療セッションの合間に、患者によって宿題／練習として用いられる。ステップＳ８２７においてプログラムは終了する。
【0124】
上記で説明され図１８に示された各ステップは、開示のものとは異なる順序で実行されてもよいということが理解される。たとえば、ステップ１８１６、１８２４、１８３０、１８３６、１８４０、１８４６および１８５０における評価は、同時に実行されてもよい。さらに、解析システム１０８への複数の接続（たとえば、ステップ１８１４、１８２２、１８２８、１８３４および１８４４）は、説明された治療セッションを通して一度だけ行われてもよい。
【0125】
図１９は、無視訓練(neglect training)のために有用な技術を例示する。無視訓練のために、本明細書に記載のシステムおよび方法は、接続されるハードウェアを用いて、患者が目標を正しく叩くと触覚／振動フィードバックを提供する。接続されるハードウェアは、装置、動画モーションキャプチャシステム、または接続されるベルを含む。これらの装置はすべて上述のシステム内に接続され、タップされると振動し、聴覚的フィードバックを再生するためのスピーカを有する。たとえば、接続されるベルは、センサ２００と同じ態様でシステムにデータ（たとえば患者がベルを叩くことに関するデータ）を提供する。動画モーションキャプチャシステムは、動画カメラ２０６と同じ態様でシステムに動画データを提供する。無視訓練のためのキーとなる入力は、特定の位置への運動の追跡に関する情報である。プログラムは、患者が目標を正しく叩くと、接続されるハードウェアを用いて触覚的／振動フィードバックを提供する。無視訓練のための適切な母集団は、空間的無視または半空間視覚無視状態を伴う患者を含む。
【0126】
無視訓練のための図１９に例示されるフロー図は、歩行訓練のための図１８に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。たとえば、ベースラインテストは患者の状態および／または以前のテストからの改善を確立する。一部の実施形態では、ベースラインテストは、画面（たとえばハンドヘルド装置２２０のディスプレイ２２２）上で左右に均等に離間した４つの物体を示すことを含む。患者は、ディスプレイ２２２に現れるキューによって、または、セラピストによって音声で、バックグラウンドの音楽のビートにタイミングを合わせて物体を叩くよう指示される。歩行訓練のように、患者はバックグラウンドの音楽のビートにタイミングを合わせてベルを叩くよう指示される。正確に叩くごとにフィードバックが提供される。ベースライン情報が収集されると、左右に均等に離間したいくつかの物体が画面に表示される。上述のように、患者は、バックグラウンドの音楽のビートにタイミングを合わせて、物体を左から右へと順に叩くよう指示される。正確に叩くごとにフィードバックが提供される。歩行訓練のように、解析システム１０８は患者の応答を評価し、応答を分類し、物体を増加または減少させる指示を提供し、または、目標テンポに到達するために音楽のテンポを増加または減少させる。
【0127】
図２０は、イントネーション訓練に有用な技術を例示する。イントネーション訓練について、本明細書に記載のシステムおよび方法は、音声処理アルゴリズムに依存する。典型的に選択されるフレーズは、両唇音、喉音および母音のカテゴリに属するありふれた語である。患者の片手にビート毎分の触覚的フィードバックを提供するために、ハードウェアが患者に接続される。イントネーション訓練についてキーとなる入力は、声のトーンと、話される単語と、発話のリズムとである。イントネーション訓練の適切な母集団は、ブローカ失語症、表現失語症、非流暢性失語症、失行症、自閉症スペクトル障害、およびダウン症を伴う患者を含む。
【0128】
図２０に例示される、イントネーション訓練のためのフロー図は、歩行訓練のための図１８に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。たとえば、タップすることを支援するために、患者の片手に触覚的フィードバックが提供される。患者は、ディスプレイ２２２に現れるキューによって、またはセラピストによって音声で、再生される音楽を聞くよう指示される。学習すべき話されるフレーズは、２つの部分に分離して再生され、２つの部分のうち第１のものは高ピッチにされ、２つの部分のうち第２のものは低ピッチにされる。その後、患者は、ディスプレイ２２２に現れるキューによって、またはセラピストによって音声で、再生される２つのピッチを用いて装置を用いてそのフレーズを歌うよう指示される。歩行訓練のように、解析システム１０８は患者の応答を評価し、ピッチの精度、話された語、および患者またはアシスタント／セラピストによるランキングの観点から応答を分類し、別のフレーズを提供する指示を提供し、応答と目標の発話パラメータとを比較する。
【0129】
図２１は、音楽的刺激訓練に有用な技術を例示する。音楽的刺激訓練について、本明細書に記載のシステムおよび方法は、音声処理アルゴリズムに依存する。予測的セクションを除外するためのアルゴリズムとともに（期待妨害と呼ばれる）、よく知られた歌が用いられる。ハードウェアは、患者による歌唱を受け付けて処理するスピーカを含み、一部の実施形態では、セラピストが歌唱の精度に関する入力を手動で提供してもよい。キーとなる入力は、声のトーンと、話された単語と、発話のリズムと、音楽の好みとに関する情報である。適切な母集団は、ブローカ失語症、非流暢性失語症、ＴＢＩ、脳卒中、および原発性進行性失語を伴う患者を含む。
【0130】
図２１に例示される、音楽的刺激訓練のためのフロー図は、歩行訓練のための図１８に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。たとえば、患者のために音楽が再生され、患者はディスプレイ２２２に現れるキューによって、またはセラピストによって音声で、歌曲を聞くよう指示される。歌曲には音楽的キューが付加される。続いて、予測的スポットにおいて、単語または音が空白にされ、欠落している単語または音を歌うように患者を促すために、ジェスチャー的音楽キューが再生される。歩行訓練のように、解析システム１０８は、患者の応答を評価し、ピッチの精度、話された単語、および患者またはアシスタント／セラピストによるランキングの観点から応答を分類し、発話を目標発話パラメータへと改善するために、歌曲の追加的部分を再生するよう指示を提供する。
【0131】
図２２は、患者の総運動訓練に有用な技術を例示する。総運動訓練について、本明細書に記載のシステムおよび方法は、運動失調、運動範囲またはイニシエーションを支援することに向けられる。エクササイズの比較的困難な部分は、（たとえば、メロディ的、ハーモニー的、リズム的、および／または強さ的キューを用いることによって）音楽的に「アクセントが付され」ている。キーとなる入力は、接続されるハードウェアまたは動画カメラシステムを介しての、Ｘ、ＹおよびＺキャプチャにおける運動に関する情報である。適切な母集団は、神経学的な、整形外科的な、強さの、耐久性の、バランスの、姿勢の、運動範囲の、ＴＢＩの、ＳＣＩの、脳卒中の、および脳性麻痺の患者である。
【0132】
図２２に例示される、総運動訓練のためのフロー図は、歩行訓練のための図１８に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。歩行訓練のように、患者には、音楽的選択のベースラインビートにタイミングを合わせて動くためのキューが提供される。解析システム１０８は、患者の応答を評価し、上述のように運動の精度およびエントレインメントの観点から応答を分類し、再生される音楽のテンポを増加または減少させるための指示を提供する。
【0133】
図２３は、握力訓練に有用な技術を例示する。握力訓練について、本明細書に記載のシステムおよび方法は、把持装置に関連付けられたセンサに依存する。ハードウェアは、ハンドヘルド２２０に関連付けられる接続されるスピーカ、圧力センサを有する把持装置を含む。キーとなる入力は、センサ２００によって測定される踵衝撃圧と同様の態様で、患者によって把持装置に提供される圧力である。適切な母集団は、神経学的な、整形外科的な、強さの、耐久性の、バランスの、姿勢の、運動範囲の、ＴＢＩの、ＳＣＩの、脳卒中の、および脳性麻痺の患者である。
【0134】
図２３に例示する、握力訓練のためのフロー図は、歩行訓練のための図１８に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。歩行訓練のように、患者は、音楽的選択のベースラインビートにタイミングを合わせて把持装置に力を与えるためにキューを提供される。解析システム１０８は、患者の応答を評価し、上述のように運動の精度およびエントレインメントの観点から応答を分類し、再生される音楽のテンポを増加または減少させる指示を提供する。
【0135】
図２４は、発話キューイング訓練に有用な技術を例示する。発話キューイング訓練について、本明細書に記載のシステムおよび方法は、音声処理アルゴリズムに依存する。ハードウェアは、患者による歌唱を受け付けて処理するスピーカを含んでもよく、一部の実施形態では、セラピストが手動で発話精度に関する入力を提供してもよい。キーとなる入力は、声のトーンと、話される単語と、発話のリズムと、音楽的好みとである。適切な母集団は、ロボット問題、単語の発見問題、および吃音問題を伴う患者を含む。
【0136】
図２４に示す、発話キューイング訓練のためのフロー図は、歩行訓練のための図１８に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。歩行訓練のように、患者は、音楽的選択の各ビートにタイミングを合わせて１音節を言うことによって文を発話するためのキューを、ディスプレイ２２２に現れるキューによって、または、セラピストによって音声で、提供される。解析システム１０８は、患者の発話を評価し、上述のように発話の精度およびエントレインメントの観点から応答を分類し、再生される音楽のテンポを増加または減少させる指示を提供する。
【0137】
図２５は、最小意識患者の訓練に有用な技術を例示する。本明細書に記載のシステムおよび方法は、患者の両目が開いているか否か、患者が見ている方向、結果としての患者の脈拍および心拍数を測定するために、３Ｄカメラ等の撮像システムに依存する。プログラムは、心拍数、刺激、呼吸数、閉眼、姿勢、および不安について探索し最適化する。適切な母集団は、昏睡および意識障害を伴う患者を含む。
【0138】
図２５に示す、最小意識患者の訓練のためのフロー図は、歩行訓練のための図１８に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。歩行訓練のように、患者に、患者の呼吸数（ＰＢＲ）における増加する刺激が提供される。たとえば、まず患者にＰＢＲにおいて音楽的コードの刺激が提供され、患者の両目が開いているか否かが観測される。患者の両目が開いていない場合には、刺激は、単純なメロディをＰＢＲにおいてハミングからＰＢＲにおいて「アー」と歌うまで、ＰＢＲにおいて患者の名前を歌うまで順次増大し（またはそのような音の記録を再生し）、各入力において、患者の両目が開いているか否かがチェックされる。解析システム１０８は、患者の目の追跡を評価し、意識レベルの観点から応答を分類し、刺激を変化させる指示を提供する。
【0139】
図２６～２８は、注意力訓練に有用な技術を例示する。注意力訓練について、本明細書に記載のシステムおよび方法は、閉ループ式に動作し、患者が注意力を維持し、分割し、変更し、および選択することを支援する。どの運動を行うべきかをシグナリングするいかなる視覚的キューも許されない。適切な母集団は、脳腫瘍、多発性硬化症、パーキンソン病、ならびに神経学的病気および障害を伴う患者を含む。
【0140】
図２６に示す、注意力維持訓練のためのフロー図は、歩行訓練のための図１８に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。歩行訓練のように、患者には楽器（機能する任意の楽器でよく、ドラムスティック、ドラム、鍵盤、またはそれぞれ無線で接続されたもの）が与えられ、ディスプレイ２２２に現れるキューによって、またはセラピストによって音声で、図２６に例示されるレベル１～９によって定義される音声キューに沿って進行するか、またはその音声キューに対するタスクを実行するよう指示される。解析システム１０８は、患者が正確にタスクを完了する能力を評価し、応答を分類し、テンポまたはタスクの難易度を変化させる。同様に、図２７は注意力変更訓練のためのフロー図を例示する。注意力変更訓練では、ディスプレイ２２２に現れるキューによって、またはセラピストによって音声で、左耳と右耳とで交互に起こる音声キューに沿って進行するか、または音声キューに対するタスクを実行するよう指示が提供される。図２８は分割された注意力のためのフロー図を例示する。ここでは、左右両耳における音声信号とともに、音声キューに沿って進行するか、または音声キューに対するタスクを実行するよう指示が提供される。
【0141】
図２９に示す、機敏性訓練のためのフロー図は、歩行訓練のための図１８に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。機敏性訓練のために、患者は、ベースライン運動および運動範囲情報を収集するために、ピアノの鍵盤を指で叩くよう指示される。歌曲は特定のビート毎分で開始され、患者はベースライン数の指で叩き始める。解析システム１０８は、患者が正確にタスクを完了する能力を評価し、応答を分類し、テンポまたはタスクの難易度を変化させる。
【0142】
図３０に示す、口運動訓練のためのフロー図は、歩行訓練のための図１８に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。口運動訓練のために、患者は、２つの音（たとえば「オー」と「アー」）を交互に起こすタスクを実行するよう指示される。解析システム１０８は、患者がタスクを正確に完了させる能力を評価し、応答を分類し、テンポまたはタスクの難易度を（たとえば異なる目標音を提供することによって）変化させる。
【0143】
図３１に示す、呼吸訓練のためのフロー図は、歩行訓練のための図１８に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。呼吸訓練のために、ベースライン呼吸数および呼吸の浅さが決定される。患者の呼吸数でのベースラインテンポで音楽が提供され、患者は、図３１に各レベルで記載された呼吸タスクを実行するよう指示される。解析システム１０８は、患者がタスクを正確に完了させる能力を評価し、応答を分類し、テンポまたはタスクの難易度を（たとえば異なる呼吸パターンを提供することにより）変化させる。
【0144】
上記のシステム、装置、方法、処理、等は、ハードウェア、ソフトウェア、または応用のためのこれらの任意の適切な組み合わせにおいて実装可能である。ハードウェアは、汎用コンピュータおよび／または専用の計算装置を含んでもよい。これは、１つ以上のマイクロプロセッサ、マイクロコントローラ、埋込式マイクロコントローラ、プログラム可能なデジタル信号プロセッサ、または他のプログラム可能な装置または処理回路（内部および／または外部記憶を伴う）における実装を含む。また、これに加えて、またはこれに代えて、１つ以上の特定アプリケーション向け集積回路、プログラマブルゲートアレイ、プログラマブルアレイ論理コンポーネント、または、電子的信号を処理するよう構成可能な任意の他の装置（複数可）を含んでもよい。上述の処理または装置の実装は、コンピュータ実行可能コード（構造化プログラミング言語（Ｃ等）、オブジェクト志向のプログラミング言語（Ｃ＋＋等）、または他の任意の高レベルまたは低レベルプログラミング言語（アセンブリ言語、ハードウェア記述言語、データベースプログラミング言語および技術を含む）を用いて作成されるもの）（上述の装置の１つ以上で実行するために記憶され、コンパイルされ、または翻訳され得るもの）と、異種のプロセッサ、プロセッサアーキテクチャの組み合わせまたは様々なハードウェアおよびソフトウェアの組み合わせとを含んでもよいということがさらに理解される。別の態様では、本方法はその各ステップを実行するシステムとして実装されてもよく、いくつかのやり方で複数の装置にわたって分散されてもよい。同時に、処理が複数の装置（上述の様々なシステム等）にわたって分散してもよく、または、すべての機能が専用のスタンドアロン装置または他のハードウェアに統合されてもよい。別の態様では、上述の各処理に関連する各ステップを実行するための手段は、上述のハードウェアおよび／またはソフトウェアの任意のものを含んでもよい。そのような順列組み合わせのすべてが、本開示の範囲内に該当すると考えられる。
【0145】
本明細書に記載の各実施形態は、コンピュータ実行可能コードまたはコンピュータ使用可能コード（１つ以上の計算装置で実行されると各ステップのすべておよび／または任意のものを実行する）を含むコンピュータプログラム製品を含んでもよい。コードは、一時的でない態様で、コンピュータメモリ（そこからプログラムが実行するものであってもよい。プロセッサに関連付けられたランダムアクセスメモリ等）または記憶装置（ディスクドライブ、フラッシュメモリ、または他の任意の光学的、電磁的、磁気的、赤外、または他の装置または装置の組み合わせ）に記憶されてもよい。別の態様では、上述のシステムおよび方法の任意のものが、任意の適切な伝送または伝搬媒体（コンピュータ実行可能コードを搬送するもの）および／またはその任意の入出力において実装されてもよい。
【0146】
上述の装置、システムおよび方法は、限定としてではなく、例示として説明されるということが理解される。そうでないと明記した場合を除き、開示された各ステップは、本開示の範囲を逸脱することなく、修正、補充、省略、および／または並び替えることが可能である。多数の変形、追加、省略、および他の変更が、当業者には自明である。加えて、上述の説明および図面における方法ステップの順序および提示は、その順序が明示的に要求されるかまたは他の態様で文脈から明らかである場合を除いて、説明される各ステップがこの順に実行されることを要求するということは意図しない。
【0147】
本明細書に記載される実装の各方法ステップは、異なる意味が明示的に提供されるかまたは他の態様で文脈から明白である場合を除き、そのような方法ステップを実行させる任意の適切な方法（添付の特許請求の範囲の特許性と整合する）を含むことが意図される。したがって、たとえば、ステップＸを実行することは、他の関与者（たとえばリモートユーザ、リモート処理資源（サーバまたはクラウドコンピュータ等）または機械）に方法Ｘを実行させる任意の適切な方法を含む。同様に、ステップＸ，ＹおよびＺを実行することは、そのような各ステップの利益を得るために、そのような他の個人または資源の任意の組み合わせがステップＸ、ＹおよびＺを実行するよう制御するかまたは向ける、任意の方法を含んでもよい。したがって、異なる意味が明示的に与えられるかまたは他の態様で文脈から明白である場合を除き、本明細書に記載の実装の方法ステップは、１つ以上の他の関与者またはエンティティに、各ステップ（添付の特許請求の範囲の特許性と整合する）を実行させる任意の適切な方法を含むということが意図される。そのような関与者またはエンティティは、いかなる他の関与者またはエンティティの指示下または制御下にある必要もなく、特定の司法管轄区内に配置される必要もない。
【0148】
さらに、上述の各方法は例示によって提供されるということが理解されるべきである。そうでないと明記した場合を除き、開示された各ステップは、本開示の範囲から逸脱することなく、修正、補充、省略、および／または並び替え可能である。
【0149】
上述の各方法および各システムは、限定としてではなく、例示として説明されるということが理解される。多数の変形、追加、省略、および他の変更が、当業者には自明である。加えて、上述の説明および図面における方法ステップの順序または提示は、その順序が明示的に要求されるかまたは他の態様で文脈から明らかである場合を除き、説明される各ステップがこの順に実行されることを要求するということを意図しない。したがって、特定の実施形態が示され説明されたが、本開示の精神および範囲から逸脱することなく、形式および詳細における多数の変化および変更を行うことができるということが、当業者には自明である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】