知財求人 - 知財ポータルサイト「IP Force」
特表2023-537681拡張された神経学的リハビリテーションのためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-05
(54)【発明の名称】拡張された神経学的リハビリテーションのためのシステムおよび方法
(51)【国際特許分類】
A61B 5/11 20060101AFI20230829BHJP
A61B 5/00 20060101ALI20230829BHJP
G06Q 50/22 20180101ALI20230829BHJP
G06F 3/01 20060101ALI20230829BHJP
A61M 21/00 20060101ALI20230829BHJP
A61H 99/00 20060101ALI20230829BHJP
【ＦＩ】
A61B5/11 200
A61B5/00 G
G06Q50/22
G06F3/01 510
G06F3/01 560
A61M21/00 Z
A61H99/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023504242
(86)(22)【出願日】2021-07-21
(85)【翻訳文提出日】2023-02-27
(86)【国際出願番号】 US2021042606
(87)【国際公開番号】W WO2022020493
(87)【国際公開日】2022-01-27
(31)【優先権主張番号】63/054,599
(32)【優先日】2020-07-21
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＩＮＤＯＷＳ
２．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】520027464
【氏名又は名称】メドリズムス，インコーポレイテッド
(74)【代理人】
【識別番号】110001656
【氏名又は名称】弁理士法人谷川国際特許事務所
(72)【発明者】
【氏名】マッカーシー，オーエン
(72)【発明者】
【氏名】ハリス，ブライアン
(72)【発明者】
【氏名】カルパキス、アレックス
(72)【発明者】
【氏名】チュウ，ジェフリー
(72)【発明者】
【氏名】ブスケ－スミス，ブライアン
(72)【発明者】
【氏名】リチャードソン，エリック
【テーマコード（参考）】
4C038
4C046
4C117
5E555
5L099
【Ｆターム（参考）】
4C038VA04
4C038VB31
4C038VC05
4C038VC20
4C046AA11
4C046AA13
4C046AA22
4C046AA29
4C046AA33
4C046AA45
4C046AA47
4C046BB10
4C046CC01
4C046DD01
4C046DD36
4C046DD41
4C046EE02
4C046EE04
4C046EE07
4C046EE09
4C046EE10
4C046EE13
4C046EE24
4C046EE25
4C046EE32
4C046EE33
4C117XE13
4C117XE19
4C117XE24
4C117XE26
4C117XE27
4C117XE37
4C117XG04
4C117XG05
4C117XP01
5E555AA08
5E555AA48
5E555AA64
5E555AA71
5E555BA02
5E555BA08
5E555BA22
5E555BB02
5E555BB08
5E555BB22
5E555BC04
5E555BE17
5E555CA41
5E555CA44
5E555CB19
5E555CB69
5E555CB70
5E555CC30
5E555DA08
5E555DA23
5E555DB57
5E555DC30
5E555DC83
5E555DC84
5E555DD01
5E555EA14
5E555FA00
5L099AA13
(57)【要約】
患者の拡張された神経学的なリハビリテーション（ＡＮＲ）のためのシステムおよび方法が開示される。ＡＮＲシステムが、共通のビートテンポに従って同期されて治療セッションの間に患者へ出力されるリズミカルな聴覚刺激（ＲＡＳ）と視覚的拡張現実（ＡＲ）シーンを生成する。患者が装着するセンサが、患者が行う反復運動に関連する生体力学データをＡＲ視覚コンテンツおよびＲＡＳと同期してキャプチャする。批判的思考アルゴリズムがセンサデータを分析して、視覚的要素および音声要素に対する患者の運動の空間的および時間的関係を判定し、患者の同調レベルと臨床目標／訓練目標に対する進捗を決定する。さらに、３Ｄ ＡＲモデル化モジュールが、決定された同調レベルおよび訓練目標が達成されたかどうかに基づいて、患者へ出力される拡張現実視覚・音声コンテンツを動的に調整するようプロセッサを構成する。
【選択図】 図３２
【選択図】 図３２
【特許請求の範囲】
【請求項1】
非一時的記憶媒体に記憶される機械可読命令を含むソフトウェアモジュールにより構成されるプロセッサを有するコンピュータシステムを備える患者の拡張された神経学的なリハビリテーションのためのシステムであって、前記ソフトウェアモジュールは、
前記プロセッサにより実行された場合に、治療セッション中に患者へ出力するために拡張現実（ＡＲ）視覚コンテンツおよびリズミカルな聴覚刺激（ＲＡＳ）を生成するようプロセッサを構成するＡＡ／ＡＲモデル化モジュールであって、前記ＲＡＳはビートテンポで出力されるビート信号を含み、前記ＡＲ視覚コンテンツは前記ビートテンポに基づいて規定された空間的および時間的な順番で動く視覚的要素を含む、ＡＡ／ＡＲモデル化モジュールと
前記プロセッサと通信を行い、前記患者が前記ＡＲ視覚コンテンツおよび前記ＲＡＳに合わせて行う反復運動に関連する前記患者のタイムスタンプが付けられた生体力学データを含む患者データをリアルタイムで受信する入力インタフェースであって、前記生体力学データは前記患者と関連付けられたセンサを用いて測定される、入力インタフェースと、
を含み、
前記ソフトウェアモジュールはさらに、
前記タイムスタンプが付けられた生体力学データを分析して、前記視覚的要素および前記ビートテンポで出力される前記ビート信号に対する前記患者の前記反復運動の時間的関係を判定し、目標パラメータに対する同調レベルを決定するよう前記プロセッサを構成する、批判的思考アルゴリズム（ＣＴＡ）モジュール、
を含み、
前記ＡＡ／ＡＲモデル化モジュールはさらに、前記患者へ出力される前記ＡＲ視覚および前記ＲＡＳを同期するように、かつ前記決定された同調レベルに基づいて動的に調整するように前記プロセッサを構成する、
システム。
【請求項2】
前記プロセッサは、前記ＡＲ視覚コンテンツおよび前記ＲＡＳを前記決定された同調レベルに基づいて、前記同調レベルを考慮して前記ＲＡＳの前記ビートテンポを調整することで動的に調整し、前記視覚的要素の前記規定された空間的および時間的な順番を前記調整されたビートテンポと同期するよう調整する、請求項１に記載のシステム。
【請求項3】
前記ビート信号はそれぞれ、それぞれの出力時間で出力され、前記同調レベルは、前記ビート信号の前記それぞれの出力時間に対する前記反復運動のタイミングに基づいて決定される、
請求項２に記載のシステム。
【請求項4】
前記ＣＴＡモジュールは、前記タイムスタンプが付けられた生体力学データを分析して、前記反復運動のそれぞれの時間を特定し、
前記反復運動の１つまたは複数の前記それぞれの時間と、関連する前記ビート信号の１つまたは複数のそれぞれの時間との間の時間的関係を測定し、
前記反復運動の１つまたは複数に対して前記測定された時間的関係に基づいて、同調余地を求める、
ことで前記同調レベルを決定するように前記プロセッサを構成し、
前記プロセッサは、前記同調余地に基づいて、前記ＡＲ視覚および前記ＲＡＳのうちの１つまたは複数を動的に調整するよう構成される、
請求項３に記載のシステム。
【請求項5】
前記ＣＴＡモジュールはさらに、前記患者に対して測定された前記生体力学データまたは生理学的データが訓練目標パラメータを満足するかどうかを判定するように前記プロセッサを構成し、前記ＡＡ／ＡＲモデル化モジュールはさらに、前記患者へ出力される前記ＡＲ視覚コンテンツおよび前記ＲＡＳを未達成である前記訓練目標パラメータに応答して動的に調整するように前記プロセッサを構成する、
請求項２に記載のシステム。
【請求項6】
前記目標パラメータは前記ビートテンポであり、前記訓練目標パラメータはリハビリテーションの結果である、請求項５に記載のシステム。
【請求項7】
前記ＡＲ視覚コンテンツを前記患者へ提示するよう構成されているＡＲビデオ出力装置と、前記ＲＡＳを前記患者へ出力するよう構成されている音声出力装置と、
前記患者と関連付けられ、前記患者の前記タイムスタンプが付けられた生体力学データを測定するよう構成されている前記センサであって、慣性計測装置（ＩＭＵ）を備える、前記センサと、
をさらに備える、請求項１に記載のシステム。
【請求項8】
前記患者と関連付けられ、前記患者の生理学的データを測定するよう構成されているセンサであって、前記訓練目標パラメータは生理学的パラメータであるセンサ、をさらに備え、
前記生理学的パラメータは、心拍数、血液酸素化、呼吸数、ＶＯ２、電気的脳活動（ＥＥＧ）のうちの１つまたは複数である、
請求項５に記載のシステム。
【請求項9】
前記ＡＲ視覚コンテンツは、仮想トレッドミルであって、前記仮想トレッドミルの上面が前記ビートテンポに対応する速度で前記患者に近づいているように見えるようアニメ化された仮想トレッドミルと、
前記仮想トレッドミルの前記上面に重畳される複数の足跡であって、前記足跡は空間的に配列されて、前記ビートテンポに対応する速度で前記患者に近づくように見える、複数の足跡と、
前記反復運動を前記ビートテンポに対応する速度で行う、アニメ化された人と、
のうちの１つまたは複数を含む視覚的シーンを含む、
請求項１に記載のシステム。
【請求項10】
前記ＡＲ視覚コンテンツを修正することは、前記ビートテンポの変化を考慮して前記足跡の間隔を変更することと、前記アニメ化された人が前記反復運動を行う前記速度を変更することと、前記トレッドミルの前記仮想上面が前記患者へ近づくように見える前記速度を変更することと、仮想障害物または仮想シーンの摂動が前記患者の前に現れる速度を変更すること、のうちの１つまたは複数を含む、請求項１に記載のシステム。
【請求項11】
身体障害を有する患者の拡張された神経学的リハビリテーションのための方法であって、前記方法は、実行された場合に前記方法を実行する機械可読命令により構成される物理プロセッサを有するコンピュータシステム上で実現され、治療セッション中に音声出力装置を介して患者へ出力されるリズミカルな聴覚刺激（ＲＡＳ）を提供することであって、前記ＲＡＳはビートテンポで出力されるビート信号を含む、提供することと、
拡張現実（ＡＲ）表示装置を介して患者へ出力するためＡＲ視覚コンテンツを生成することであって、前記ＡＲ視覚コンテンツは前記ビートテンポに基づいて規定された空間的および時間的な順番で動き、前記ＲＡＳと同期して出力される視覚的要素を含む、生成することと、
前記ＲＡＳの前記ビート信号および前記ＡＲ視覚コンテンツの前記視覚的要素の対応する動きに合わせて反復運動を行うよう前記患者に指示することと、
前記患者が前記ＡＲ視覚コンテンツおよび前記ＲＡＳに合わせて行う前記反復運動に関連する前記患者のタイムスタンプが付けられた生体力学データを含む患者データをリアルタイムで受信することであって、前記生体力学データは前記患者と関連付けられたセンサを用いて測定される、受信することと、
前記タイムスタンプが付けられた生体力学データを分析して、前記視覚的要素および前記ビート信号に応じて出力される前記ビート信号に対する前記患者の前記反復運動の時間的関係を判定して、同調余地を決定することと、
前記患者へ出力される前記ＡＲ視覚コンテンツおよび前記ＲＡＳを同期するように、かつ既定された同調余地を満たさない前記決定された同調余地に基づいて動的に調整することと、
調整された前記ＡＲ視覚コンテンツおよび前記ＲＡＳを用いて前記治療セッションを継続することと、
を含む、方法。
【請求項12】
前記患者から前記生体力学データを測定することであって、前記患者と関連付けられたセンサを準備することと、前記患者の運動と関連付けられた運動、加速度、および圧力のうちの１つまたは複数を測定することと、を含む、測定することをさらに含む、請求項１１に記載の方法。
【請求項13】
前記ＡＲ視覚コンテンツおよび前記ＲＡＳを前記決定された同調余地に基づいて動的に調整することは、前記ＲＡＳの前記ビートテンポを前記同調余地に基づいて調整することと、前記視覚的要素の前記規定された空間的および時間的な順番を前記調整されたビートテンポと同期するよう調整することを含む、請求項１１に記載の方法。
【請求項14】
前記ビートテンポを目標ビートテンポを含む訓練目標パラメータと比較することと、前記ＲＡＳおよび前記ＡＲ視覚コンテンツを、前記比較と前記ビートテンポに関して決定された前記同調余地の関数として動的に調整することと、
をさらに含む、請求項１３に記載の方法。
【請求項15】
前記同調余地が規定されたレベルを満足し、前記ビートテンポが前記目標ビートテンポを下回る場合に、前記ＲＡＳの前記ビートテンポを前記目標ビートテンポへ向けて上げて、前記視覚的要素の前記規定された空間的および時間的な順番を前記調整されたビートテンポと同期するよう調整することをさらに含む、請求項１４に記載の方法。
【請求項16】
前記ビート信号はそれぞれ、前記ビートテンポに基づいてそれぞれの出力時間で出力され、前記同調余地を測定することは、複数の前記反復運動のそれぞれのオンセット時間を、関連する前記ビート信号のそれぞれの出力時間とリアルタイムに比較することを含み、所与の反復運動に対する前記オンセット時間は規定された特定可能な事象が前記所与の反復運動の間に発生する時間である、請求項１１に記載の方法。
【請求項17】
前記患者に対して測定された前記生体力学データまたは生理学的データを含む患者データが訓練目標パラメータを満足するかどうかを判定すること、をさらに含み、
前記ＡＡ／ＡＲモデル化モジュールがさらに、前記患者へ出力される前記ＡＲ視覚コンテンツおよび前記ＲＡＳを未達成である前記訓練目標パラメータに応答して動的に調整するように前記プロセッサを構成する、
請求項１１に記載の方法。
【請求項18】
前記患者と関連付けられ、生理学的パラメータを測定するよう構成されているセンサを準備することを含む、前記患者から前記生理学的データを測定することをさらに含み、前記生理学的パラメータは、心拍数、呼吸数、およびＶＯ２ ｍａｘから成るグループから選択される、請求項１７に記載の方法。
【請求項19】
前記ＡＲ視覚コンテンツは、仮想トレッドミルであって、前記仮想トレッドミルの上面が前記ビートテンポに対応する速度で前記患者に近づいているように見えるようアニメ化された仮想トレッドミルと、
前記仮想トレッドミルの前記上面に重畳される複数の足跡であって、前記足跡は空間的に配列されて、前記ビートテンポに対応する速度で前記患者に近づくように見える、複数の足跡と、
前記反復運動を前記ビートテンポに対応する速度で行う、アニメ化された人と、
のうちの１つまたは複数を含む視覚的シーンを含む、
請求項１１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、「拡張された神経学的リハビリテーションのためのシステムおよび方法」と題され２０２０年７月２１日に出願されたＭｃＣａｒｔｈｙなどに対する米国仮特許出願第６３／０５４，５９９号明細書に基づき、当該仮出願の利益および優先権を主張するものであり、さらに、「神経学的リハビリテーションのためのシステムおよび方法」と題され２０１６年４月１４日に出願された米国仮特許出願第６２／３２２，５０４号明細書に基づきその優先権を主張する、「神経学的リハビリテーションのためのシステムおよび方法」と題され２０１９年１０月２２日に発行された米国特許第１０，４４８，８８８号明細書の継続出願である、ＭｃＣａｒｔｈｙなどに対する米国特許出願第１６／５６９，３８８号明細書、「神経学的リハビリテーションのためのシステムおよび方法」の一部継続出願であり、これらの特許出願および特許の明細書はそれぞれ、参照によりその全体が本明細書に記載されているかのように本明細書に援用される。
本願は、「拡張された神経学的リハビリテーションのためのシステムおよび方法」と題され２０２０年７月２１日に出願されたＭｃＣａｒｔｈｙなどに対する米国仮特許出願第６３／０５４，５９９号明細書に基づき、当該仮出願の利益および優先権を主張するものであり、さらに、「神経学的リハビリテーションのためのシステムおよび方法」と題され２０１６年４月１４日に出願された米国仮特許出願第６２／３２２，５０４号明細書に基づきその優先権を主張する、「神経学的リハビリテーションのためのシステムおよび方法」と題され２０１９年１０月２２日に発行された米国特許第１０，４４８，８８８号明細書の継続出願である、ＭｃＣａｒｔｈｙなどに対する米国特許出願第１６／５６９，３８８号明細書、「神経学的リハビリテーションのためのシステムおよび方法」の一部継続出願であり、これらの特許出願および特許の明細書はそれぞれ、参照によりその全体が本明細書に記載されているかのように本明細書に援用される。
【0002】
本開示は概して、音楽療法を施すことにより身体障害を有するユーザのリハビリテーションのためのシステムおよび方法に関する。
【背景技術】
【0003】
この１０年にわたる多くの対照研究は、神経学的リハビリテーションにおける音楽の臨床的役割を重視してきた。例えば、厳格に管理された音楽療法は認知、運動および言語を直接強化できることが知られている。音楽を聴くプロセスは脳活動を多くの形で強化し、注意力、意味処理、記憶、認知、運動機能、および情動処理に関連する脳の領域間の広範な双方向ネットワークを刺激する。
【0004】
臨床データは、音楽療法が記憶、注意力、実行機能、および気分を強化することを裏付けている。背後に音楽を流しての神経機構に対するＰＥＴスキャン研究により、心地よい音楽は腹側線条体、側座核、扁桃体、島、海馬、視床下部、腹側被蓋領域、前帯状領域、眼窩前頭皮質、および腹内側前頭前皮質を含む皮質領域と皮質下領域の間の広範なネットワークを刺激できることが明らかとなった。腹側被蓋領域は、ドパミンを作り出して、扁桃体、海馬、前帯状領域、および前頭前野に直接つながっている。この中脳皮質辺縁系は、音楽により活性化することができるが、覚醒、情動、報酬、記憶注意力、および実行機能を仲裁する上で重要な役割を果たす。
【0005】
神経科学の研究により、音楽で記憶を形成する基本的な組織化プロセスがどのようにして非音楽的な記憶プロセスと仕組みを共有するかが明らかとなった。フレーズの分類、階層抽象化、および音楽的パターンの基礎は、非音楽的な記憶プロセスでの時間的なチャンキングの原理と直接類似する点がある。これは、音楽で活性化される記憶プロセスは非音楽的な記憶プロセスを置き換えて強化しうることを示唆している。
【0006】
したがって、ユーザの身元の利用を保護し、個人情報を安全に提供するための改善された装置、システム、および方法が依然として必要とされている。
【発明の概要】
【0007】
開示される主題の一態様では、患者の拡張された神経学的リハビリテーションのためのシステムが提供される。システムは、非一時的記憶媒体に記憶される機械可読命令を含むソフトウェアモジュールにより構成されるプロセッサを有するコンピュータシステムを備える。
【0008】
ソフトウェアモジュールは、プロセッサにより実行された場合に、治療セッション中に患者へ出力するために拡張現実（ＡＲ）視覚コンテンツおよびリズミカルな聴覚刺激（ＲＡＳ）を生成するようプロセッサを構成するＡＡ／ＡＲモデル化モジュールを含む。具体的には、ＲＡＳはビートテンポで出力されるビート信号を含み、ＡＲ視覚コンテンツはビートテンポに基づいて規定された空間的および時間的な順番で動く視覚的要素を含む。
【0009】
システムはさらに、プロセッサと通信を行い、患者がＡＲ視覚コンテンツおよびＲＡＳに合わせて行う反復運動に関連する患者のタイムスタンプが付けられた生体力学データを含む患者データをリアルタイムで受信する入力インタフェースを備える。具体的には、生体力学データは患者と関連付けられたセンサを用いて測定される。
【0010】
ソフトウェアモジュールはさらに、タイムスタンプが付けられた生体力学データを分析して、視覚的要素およびビートテンポで出力されるビート信号に対する患者の反復運動の時間的関係を判定し、目標パラメータに対する同調レベルを決定するようプロセッサを構成する、クリティカルシンキング（批判的思考）アルゴリズム（ＣＴＡ）モジュールを含む。また、ＡＡ／ＡＲモデル化モジュールはさらに、患者へ出力されるＡＲ視覚およびＲＡＳを同期するように、かつ決定された同調レベルに基づいて動的に調整するようにプロセッサを構成する。
【0011】
更なる態様によれば、身体障害を有する患者の拡張された神経学的リハビリテーションのための方法が提供される。方法は、実行された場合にこの方法を実行する機械可読命令により構成される物理プロセッサを有するコンピュータシステム上で実装される。
【0012】
方法は、治療セッション中に音声出力装置を介して患者へ出力されるリズミカルな聴覚刺激（ＲＡＳ）を提供するステップを含む。具体的には、ＲＡＳはビートテンポで出力されるビート信号を含む。
【0013】
また、方法は、ＡＲ表示装置を介して患者へ出力される拡張現実（ＡＲ）視覚コンテンツを生成するステップも含む。具体的には、ＡＲ視覚コンテンツは、ビートテンポに基づいて規定された空間的および時間的な順番で動き、ＲＡＳと同期して出力される視覚的要素を含む。方法はさらに、ＲＡＳのビート信号およびＡＲ視覚コンテンツの視覚的要素の対応する動きに合わせて反復運動を行うよう患者に指示するステップを含む。
【0014】
方法はさらに、患者がＡＲ視覚コンテンツおよびＲＡＳに合わせて行う反復運動に関連する患者のタイムスタンプが付けられた生体力学データを含む患者データをリアルタイムで受信するステップを含む。具体的には、生体力学データは患者と関連付けられたセンサを用いて測定される。
【0015】
方法はさらに、タイムスタンプが付けられた生体力学データを分析して、視覚的要素およびビート信号に応じて出力されるビート信号に対する患者の反復運動の時間的関係を判定して、同調余地を決定するステップを含む。さらに、方法は、患者へ出力されるＡＲ視覚コンテンツおよびＲＡＳを同期するように、かつ既定された同調余地を満たさない決定された同調余地に基づいて動的に調整するステップと、調整されたＡＲ視覚コンテンツおよびＲＡＳを用いて治療セッションを継続するステップとを含む。
【図面の簡単な説明】
【0016】
本明細書に記載される装置、システム、および方法の前述した、および他の目的、特徴、および利点は、添付の図面に示されるその特定の実施形態の以下の説明から明らかとなるであろう。図面は必ずしも縮尺通りではなく、むしろ本明細書に記載される装置、システム、および方法の原理を図示することに重点が置かれる。
【0017】
【図1】開示される主題の例示の実施形態に係る、音楽療法を施すことでユーザを治療するシステムを示す図である。
【図2】開示される主題の例示の実施形態に係る、音楽療法を施すことでユーザのリハビリテーションを行うシステムのいくつかの構成要素を示す図である。
【図3】開示される主題の例示の実施形態に係る、患者の生体力学的な運動を測定するセンサの回路図である。
【図4】開示される主題の例示の実施形態に係るシステムのいくつかの構成要素を示す図である。
【図5】開示される主題の例示の実施形態に係る、音楽療法を施すことでユーザのリハビリテーションを行うシステムの構成要素の例示の表示を示す。
【図6】開示される主題の例示の実施形態に係る、分析プロセスの一実装のフロー図である。
【図7】開示される主題の例示の実施形態に係るプロセスの一実装のフロー図である。
【図8】開示される主題の例示の実施形態に係るプロセスの一実装のフロー図である。
【図9】開示される主題の例示の実施形態に係るプロセスの一実装のフロー図である。
【図10】開示される主題の例示の実施形態に係るプロセスの一実装のフロー図である。
【図11】開示される主題の例示の実施形態に係る、音楽および患者の身体の動きを示す時間グラフである。
【図12】開示される主題の例示の実施形態に係る、患者の反応を示す。
【図13】開示される主題の例示の実施形態に係る、患者の反応を示す。
【図14】開示される主題の例示の実施形態に係る、患者の反応を示す。
【図15】開示される主題の例示の実施形態に係る、患者の反応を示す。
【図16】開示される主題の例示の実施形態に係る、患者の反応を示す。
【図17】開示される主題の例示の実施形態に係る、患者の反応を示す。
【図18】開示される主題の例示の実施形態に係る、患者の歩行訓練の手法の一実装を示す。
【図19】開示される主題の例示の実施形態に係る、患者の無視訓練の手法の一実装を示す。
【図20】開示される主題の例示の実施形態に係る、患者の抑揚訓練の手法の一実装を示す。
【図21】開示される主題の例示の実施形態に係る、患者の音楽的刺激訓練の手法の一実装を示す。
【図22】開示される主題の例示の実施形態に係る、患者の粗大運動訓練の手法の一実装を示す。
【図23】開示される主題の例示の実施形態に係る、患者の握力訓練の手法の一実装を示す。
【図24】開示される主題の例示の実施形態に係る、患者の発話キュー訓練の手法の一実装を示す。
【図25】開示される主題の例示の実施形態に係る、ごくわずかに意識のある患者の訓練の手法の一実装を示す。
【図26】開示される主題の例示の実施形態に係る、患者の注意力訓練の手法の一実装を示す。
【図27】開示される主題の例示の実施形態に係る、患者の注意力訓練の手法の一実装を示す。
【図28】開示される主題の例示の実施形態に係る、患者の注意力訓練の手法の一実装を示す。
【図29】開示される主題の例示の実施形態に係る、患者の器用さの訓練の手法の一実装を示す。
【図30】開示される主題の例示の実施形態に係る、患者の口腔運動訓練の手法の一実装を示す。
【図31】開示される主題の例示の実施形態に係る、患者の呼吸訓練の手法の一実装を示す。
【図32】開示される主題の例示の実施形態に係る、患者へ治療を施すための、拡張された神経学的リハビリテーション、回復、または維持（「ＡＮＲ」）用のシステムを示す図である。
【図35】開示される主題の例示の実施形態に係る治療セッション中に患者へ表示するＡＮＲシステムにより生成される、例示の拡張現実（ＡＲ）表示である。
【図36A】開示される主題の例示の実施形態に係る治療セッション中に患者へ表示するＡＮＲシステムにより生成される、例示のＡＲ表示である。
【図36B】開示される主題の例示の実施形態に係る治療セッション中に患者へ表示するＡＮＲシステムにより生成される、例示のＡＲ表示である。
【図37】開示される主題の例示の実施形態に係る、拡張された音声刺激および視覚刺激を患者へ与えることによる歩行訓練の手法の一実装を示す。
【図38】開示される主題の例示の実施形態に係る、歩行訓練法を実行するよう構成されているＡＮＲシステムを概念的に示す、システムおよびプロセスを混合した図である。
【図40】開示される主題の例示の実施形態に係る治療セッション中に患者へ表示するＡＮＲシステムにより生成される、例示のＡＲ表示である。
【図41】開示される主題の例示の実施形態に係る治療セッション中に患者へ表示するＡＮＲシステムにより生成される、例示のＡＲ表示である。
【発明を実施するための形態】
【0018】
本発明は概して、人間の振る舞いおよび機能的な変化を観察および方向づける動的閉ループリハビリテーションプラットフォームシステムを実現するためのシステム、方法、および装置に関する。そのような変化は、音楽的リズム、ハーモニー、メロディ、および強さのキューにより時間的に引き起こされる言語、運動、および認知においてなされる。
【0019】
本発明の様々な実施形態において、図１に示される動的閉ループリハビリテーションプラットフォーム音楽療法システム１００が提供され、このシステムはセンサ要素およびセンサシステム１０２と、エッジ処理要素１０４と、収集要素１０６と、分析システム１０８と、音楽療法センター１１０とを備える。以下でより詳細に説明されるように、センサ要素、エッジ処理要素、収集要素機械学習プロセス、および音楽療法センターは、様々なハードウェア要素上で提供可能である。例えば、一実施形態では、センサ要素およびエッジ処理要素は患者に取り付けられる、または患者に装着されることがある。そのような実施形態では、収集要素および音楽療法センターは携帯型機器上で提供されることがある。そのような実施形態では、分析システムはリモートサーバ上に設置されることがある。
【0020】
センサシステム
本明細書での記述を通して、「患者」という用語は、音楽療法治療を受ける個人について言及するのに使用される。「療法士」という用語は、音楽療法治療を施す個人について言及するのに使用される。一部の実施形態では、患者は治療を施す療法士が存在しなくても本明細書に記載されるこのシステムとインタラクションを行うことができる。
本明細書での記述を通して、「患者」という用語は、音楽療法治療を受ける個人について言及するのに使用される。「療法士」という用語は、音楽療法治療を施す個人について言及するのに使用される。一部の実施形態では、患者は治療を施す療法士が存在しなくても本明細書に記載されるこのシステムとインタラクションを行うことができる。
【0021】
センサ要素１０２は、患者に関する検出された生体力学データを提供する。一部の実施形態では、センサ要素には、（１）ウェアラブル無線リアルタイム動作検出装置、すなわちＩＭＵ（慣性計測装置）、（２）センサ２００などのウェアラブル無線リアルタイム結合多ゾーン足底圧／６次元モーションキャプチャ（ＩＭＵ）装置、（３）センサ２０８などのウェアラブル無線リアルタイム筋電図（ＥＭＧ）装置、および（４）撮像装置２０６などのリアルタイム無線近赤外線（ＮＩＲ）ビデオキャプチャ装置が含まれうる（図４を参照）。
【0022】
図２に示すように、本明細書に記載されるシステムおよび方法は、患者の歩行障害の治療に関連して用いられる。したがって、例示のセンサ２００は、結合多ゾーン足底圧／６自由度モーションキャプチャ装置とすることができる。センサ２００は、患者が音楽療法セッション中に歩行している間の患者の足圧力および６自由度運動プロファイルを記録する。一部の実施形態では、足圧力／６自由度モーションキャプチャ装置は、１～４個のゾーンを含む足圧力プロファイルに対して１００Ｈｚのサンプリングレートで可変記録時間間隔を有し、１足１秒あたり１００～４００個の圧力データ点が得られる。
【0023】
センサ２００は、（１ゾーンの圧力、例えば踵接地圧力を測定するための）踵パッドから（４ゾーンの圧力を測定するための）インソール（靴の中敷）全体用パッドまでを有する足圧力パッド２０２を含みうる。圧力測定は、足へ伝達された患者の体重による圧縮の結果、トランスデューサの材料における抵抗変化を検出することでなされる。こうした足圧力のマップが音楽療法セッション中にサンプリング間隔毎に、または特定の時点において得られる。
【0024】
センサ２００は、３次元の線形加速度Ａｘ、Ａｙ、Ａｚ、およびピッチ（縦揺れ）、ヨー、およびロール（横揺れ）などの回転運動を測定する、６自由度微小電気機械システム（ＭＥＭＳ）ベースのセンサを介して動きの変化を検出する、６次元モーションキャプチャ装置２０４を含みうる。１００Ｈｚでのサンプリングにより、１秒あたり６００個の動きデータ点が作り出される。こうした足のモーションキャプチャが音楽療法セッション中にサンプリング間隔毎に、または特定の時点において得られる。
【0025】
６自由度モーションキャプチャ装置を用いた多ゾーンでの圧力検出により、歩行中にマッピング可能な空間的および時間的な歩行の動力学の追跡が可能となる。センサ２００の回路図が図３に示されている。
【0026】
図４に示すように、システム視点では、患者Ｐは２つの足センサ２００を使用し、右２００Ｒ、左２００Ｌと指定される足のそれぞれに１つを使用する。例示の実施形態では、右足センサ２００Ｒは、第１チャネル、例えばＩＥＥＥ８０２．１５．４の直接スペクトラム拡散（ＤＳＳＳ）方式のＲＦ帯におけるチャネル５で、タイムスタンプが付けられた内部測定装置のデータおよび踵接地圧力データを無線で伝達する。左足センサ２００Ｌは、第２チャネル、例えばＩＥＥＥ８０２．１５．４の直接スペクトラム拡散（ＤＳＳＳ）方式のＲＦ帯におけるチャネル６で、タイムスタンプが付けられた内部測定装置のデータおよび踵接地圧力データを無線で伝達する。以下で説明されるように、療法士Ｔにより任意選択で使用されるタブレットまたはノートパソコン２２０は、右足／左足センサのＲＦデータをキャプチャするために、第１チャネルおよび第２チャネル、例えばチャネル５とチャネル６に合わせられた２つのＩＥＥＥ８０２．１５．４ ＤＳＳＳ ＲＦトランシーバを含む無線ＵＳＢハブを備える。携帯型無線式トリガー２５０は、ビデオを開始および停止するため、ならびに／または以下でより詳細に論じられるように、時間ストリームに印を付けると共にインデックス付けするために用いられる。
【0027】
ビデオ分析ドメインを用いて、治療セッションについての患者の意味的情報および事象の情報を抽出することができる。患者の動作およびインタラクションは、治療の状況および管理に影響する、治療における構成要素である。一部の実施形態では、ビデオカメラなどの１つまたは複数の撮像装置２０６（図４を参照）が時間同期されたビデオフィードと共に用いられる。患者の動きをキャプチャするために適切なビデオをシステムへ組み込むことができるが、近赤外線（ＮＩＲ）ビデオキャプチャは患者のプライバシーを保護し、処理するビデオデータを削減するのに有益である。ＮＩＲビデオキャプチャ装置は患者の胴体や手足の部位などの患者の体のＮＩＲビデオ画像をキャプチャする。さらに、ＮＩＲビデオキャプチャ装置は、音楽療法セッションの機能として、患者のリアルタイムの動的な歩行の特性をキャプチャする。一部の実施形態では、ビデオは定置されたカメラを用いて撮影され、ビデオの中で背景は取り去られて前景の画素が分割される。
【0028】
図４に示すように、治療セッションが始まると１つまたは複数のビデオカメラ２０６がタブレットまたはノートパソコンのアプリケーションにより作動される。ビデオカメラ２０６は、療法士によって携帯型無線式トリガーユニット２５０で停止または起動することができる。これにより、キャプチャされた生体力学センサデータおよびビデオデータストリームにおいて、ラベルおよびタイムスタンプが付けられたインデックスを作成することが可能となる。
【0029】
一部の実施形態では、ウェアラブル無線リアルタイム筋電図（ＥＭＧ）装置２０８を患者が装着することができる。ＥＭＧセンサは、移動のための主要な筋肉の発火に対する二足歩行全体のプロファイルを提供する。そのようなセンサは、筋肉が発火した際の正確な時間に関するデータを提供する。
【0030】
エッジ処理
一部の実施形態では、エッジ処理はセンサ２００で行われ、センサデータはＩＭＵおよび圧力センサからキャプチャされる。センサデータはフィルター処理されて様々な配列サイズへとグループ分けされ、抽出された属性および特徴を反映するフレームへとさらに処理されて、これらのフレームは、例えば無線で、タブレットまたはノートパソコン上の収集器１０６へ送信される。あるいは、センサ２００から得られる生の生体力学センサデータは、エッジ処理機能を実行するための収集のためにリモートプロセッサへ転送できることが理解される。
一部の実施形態では、エッジ処理はセンサ２００で行われ、センサデータはＩＭＵおよび圧力センサからキャプチャされる。センサデータはフィルター処理されて様々な配列サイズへとグループ分けされ、抽出された属性および特徴を反映するフレームへとさらに処理されて、これらのフレームは、例えば無線で、タブレットまたはノートパソコン上の収集器１０６へ送信される。あるいは、センサ２００から得られる生の生体力学センサデータは、エッジ処理機能を実行するための収集のためにリモートプロセッサへ転送できることが理解される。
【0031】
ウェアラブルセンサ２００、２０８、およびビデオキャプチャ装置２０６は、生体力学的特徴の抽出および分類を容易にするために総合的に処理されたセンサデータストリームを生成する。センサフュージョンは共通の事象をキャプチャする多数のセンサからの出力を結合し、いずれの単一の構成センサ入力よりも良好に結果を捉える。
【0032】
音楽療法の文脈において患者の活動を捉えることで、音楽療法に適用されるインタラクションと、音楽療法の成績および有効性に対する患者に特有な指標および一般化された正式な指標を開発する上でのインタラクションとが形式化される。ビデオの特徴を抽出して分析することで、患者の振る舞いについての意味的で高レベルの情報を捉えることが可能となる。
【0033】
ビデオを処理する際に、音楽療法が行われる物理的場所における照明条件の変動および遮蔽を取り入れた背景モデルを作成するのに学習された背景差分法が用いられる。背景差分の結果は２次元の輪郭である一連のブロブを前景に有する前景のバイナリマップである。このように、ビデオは将来の画像処理およびセンサフュージョンのために個別の画像フレームへと分割される。ビデオ情報は、ＩＭＵ、足圧力パッド、およびＥＭＧセンサからのエッジ処理されたセンサデータを融合させることで、追加のメタデータと共に提供される。センサデータはＲＦトリガーを用いて他のデータと時間同期させることができる。データは収集器へ直接送信する、内部基板のメモリに記憶する、またはＯｐｅｎＣＶライブラリを実行するエッジで分析することができる。
【0034】
エッジプロセッサ１０４はマイクロプロセッサとすることができて、例えば１秒あたり１００～４００個の完全な足圧力／６自由度運動プロファイルの速度で高速な多ゾーンスキャンを可能とする足圧力／６自由度モーションキャプチャ装置へ組み込まれる３２ビットマイクロプロセッサなどにすることができる。
【0035】
足圧力／６自由度モーションキャプチャ装置は、リアルタイム歩行分析のために足圧力／６自由度運動プロファイルデータを収集し、その結果、特徴の抽出と分類が行われる。一部の実施形態では、足圧力／６自由度モーションキャプチャ装置は、マイクロコントローラユニット（ＭＣＵ）と、連続演算子処理（ＣＯＰ）、汎用入出力（ＧＰＩＯ）、シリアルペリフェラルインタフェース（ＳＰＩ）、および割り込み要求（ＩＲＱ）を初期化し、マイクロコントローラユニット初期化（ＭＣＵＩｎｉｔ）、汎用入出力初期化（ＧＰＩＯＩｎｉｔ）、シリアルペリフェラルインタフェース初期化（ＳＰＩＩｎｉｔ）、割り込み要求肯定応答初期化（ＩＲＱＩｎｉｔ）、割り込み要求肯定応答（ＩＲＱＡＣＫ）、シリアルペリフェラルインタフェースドライバ読み出し（ＳＰＩＤｒｖＲｅａｄ）、およびＩＲＱＰｉｎＥｎａｂｌｅを含むルーチンを呼び出すことで、所望のＲＦトランシーバクロック周波数を設定する。ＭＣＵＩｎｉｔは、ＭＣＵウォッチドッグを停止させて、バスクロック（ＢＵＳＣＬＫ）を３２のプリスケールで基準として使用するようにタイマーモジュールを設定するマスター初期化ルーチンである。
【0036】
状態変数ｇｕ８ＲＴｘＭｏｄｅはＳＹＳＴＥＭ＿ＲＥＳＥＴ＿ＭＯＤＥに設定され、ルーチンＧＰＩＯＩｎｉｔ、ＳＰＩＩｎｉｔ、ＩＲＱＩｎｉｔが呼び出される。状態変数ｇｕ８ＲＴｘＭｏｄｅはＲＦ＿ＴＲＡＮＳＣＥＩＶＥＲ＿ＲＥＳＥＴ＿ＭＯＤＥに設定され、ＩＲＱがアサートされているかを確認するためにＩＲＱＦＬＡＧがチェックされる。ＲＦトランシーバの割り込みがまずＳＰＩＤｒｖＲｅａｄを用いてクリアされ、ＡＴＴＮ ＩＲＱ割り込みについてＲＦトランシーバがチェックされる。最後に、ＭＣＵＩｎｉｔに関して、物理ＭＡＣ層、ＩＲＱＡＣＫ（保留中のＩＲＱ割り込みをＡＣＫするために）、および信号の負エッジで、ＥｎａｂｌｅとＩＥとＩＲＱ ＣＬＲをピンするためのＩＲＱＰｉｎＥｎａｂｌｅをリセットするために、ＰＬＭＥＰｈｙＲｅｓｅｔに対して呼び出しが行われる。
【0037】
足圧力／６自由度モーションセンサ２００は足圧力／６自由度運動収集ノードからの応答を、例えば２５０ミリ秒待って、デフォルトの全足圧力のスキャンが行われるかどうか、あるいはマッピングされた足圧力スキャンが開始されるかどうかを判定する。マッピングされた足圧力スキャンの場合は、足圧力／６自由度運動収集ノードは、適切な電極に足圧力スキャンマッピング構成データを送信する。
【0038】
分析パイプラインの一態様は、特徴ベクトルを作成して分析用の入力データ構造を規定するのに使用される、それらのキャプチャされたセンサ値とその結果生じるセンサフュージョンされた値を規定する特徴集合エンジニアリングプロセスである。代表値はＡｘ（ｉ）、Ａｙ（ｉ）、Ａｚ（ｉ）、Ｐｈ（ｉ）であり、ｉはｉ番目のサンプルであり、Ａｘ（ｉ）は足センサに対して横方向であるｘ方向の加速度であり、Ａｙ（ｉ）は足センサに対して前方であるｙ方向の加速度であり、Ａｚ（ｉ）は足センサに対して上へ向かうｚ方向の加速度であり、Ｐｈ（ｉ）は踵接地圧力である。センサ値は表１に示される。
【表1】
【0039】
一部の実施形態では、センサフュージョンする手法は、以下の例示の特徴量の分析を「ゲート」（ｇａｔｅ）して後述されるデータのウインドウを導くために、踵接地圧力値Ｐｈ（ｉ）を用いる。例えば、以下の表２に示されるように、「オンセット」（開始）は、踵接地を意味する閾値を超える踵圧力に基づいて判定することができて、「停止」は、踵が離れていることを意味する、踵圧力が閾値を下回っていることに基づいて判定される。踵接地圧力は、「ゲート」分析に使用可能なパラメータの一例であることが理解される。一部の実施形態では、「ゲーティング」はＩＭＵセンサデータ、ビデオデータ、および／またはＥＭＧデータを用いて判定される。
【表2】
【0040】
より高レベルの特徴量が、表３に示される例示の値などのフュージョンされたセンサ値から算出される。
【表3】
【0041】
本明細書に記載されるシステムは、患者の生体力学データに対して「ゲート」する、または「ウインドウ」を提供する能力を提供する。生体力学データのゲーティングは、患者が歩行している間の反復的ストライドなどの患者の反復的な運動に対して有益である。圧力センサ、ＩＭＵセンサ、ビデオデータ、ＥＭＧデータなどの１つまたは複数のソースからのセンサデータは、経時的に繰り返す運動のサイクルを特定するのに用いられる。例えば、患者が歩く場合、患者の足が地面に接した後に地面から持ち上げられるため、足圧力は反復的に増加および減少する。同様に、足の速度は、足が前方に進む際に増加し、足が地面に置かれている間はゼロへと減少する。更なる例として、患者の足のＹ位置、つまり高さは、（地面上の）低い位置と（ストライドのほぼ真ん中での）高い位置の間で循環する。「ゲーティング」手法は、そのようなデータの中の反復するサイクル、または「ウインドウ」を特定する。患者が歩いている場合、サイクルは各ステップで繰り返される。サイクル間、例えばステップ間に変動がありうるが、特定のパターンが各サイクルで繰り返される。各サイクルのオンセット時間（開始時間）を選択することには、生体力学的パラメータの特定可能な点（最大または最小）を配置することが含まれる。オンセット時間に対するパラメータの選択は、利用可能なデータに基づいて選択される。このように、一部の実施形態では、踵接地圧力が閾値を超える瞬間が各サイクルのオンセット時間の境界を定めるのに用いることができる。（例えば図５を参照。圧力３１６ａ、３１６ｂは周期的な特性を含む。「オンセット」は、圧力が閾値を超える瞬間に判定されうる。）同様に、オンセット時間は、足速度がゼロへと下がった場合に境界を定められうる。
【0042】
一部の実施形態では、生フレームデータは前処理され、瞬間的なデータを取って「ゲーティング」し、例えば、ウインドウを特定し、そのウインドウ内のデータを分析して、外れ値の特定やデータの分析、例えば指数関数分析、多数のウインドウでのデータの平均化を行う。センサデータのフュージョンは、ＩＭＵデータおよび踵接地圧力データの両方を含むことで、１回のストライドまたは他の反復される運動単位のオンセット時間を単一のセンサからのデータを用いる場合より正確に特定することを可能とする。一回のストライドの間にキャプチャされたセンサデータは「ウインドウ」であるとみなされ、この分析から抽出される情報には、例えば、ストライド長、ステップ数、歩調、ステップが発生した時間、移動距離、立脚期／遊脚期、両脚支持時間、速度、（例えば、左脚と右脚の間での）対称性分析、外側への遊脚、足を引きずっての歩行、出力ベクトル、横方向加速度、ステップ幅、これらの大きさのそれぞれの変動性、上記の情報から導出される更なるパラメータ、などが含まれる。特徴抽出はマイクロプロセッサチップ、例えば３２ビットチップ上で処理することができる。無線同期ゲート生体力学センサデータのキャプチャ、およびビデオデータキャプチャ能力により、時系列テンプレートの作成が可能となる。
【0043】
データは、音楽療法セッション中に患者または療法士によりインデックス付けすることができる。上述した「ゲーティング」機能は、特定のストライドまたはステップを例外条件に結び付けるのに有益である。例えば、療法士は、患者の運動において特定の例外条件や振る舞い（異常や事件など）を観察することがある。インデックス作成機能により、療法士が携帯型タブレットまたはノートパソコンのユーザインタフェース、例えば図４に示される無線式トリガーユニット２５０や音声制御などを介して例外条件または振る舞いを「記録する」ためのキャプチャなどを開始することが可能となる。タイムスタンプや、歩行中の患者の「つまづき」（ｓｔｕｍｂｌｅ）が発生、などのコメントを含む注釈を作ることができる。そのようなインデックス作成により、時系列テンプレートの作成が容易になる。こうした時系列テンプレートは、治療セッション事象の精査、および機械学習アルゴリズム、例えば非線形多層パーセプトロン（ＮＬＭＬＰ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）を備える再帰型ニューラルネットワーク（ＲＮＮ）などを訓練するための時系列テンプレートの開発のために研究される。
【0044】
一実施形態では、通信プロトコルが（例えば、センサ２００での）センサデータをエッジ処理１０４から収集器１０６へ転送するために提供される。以下の表４を参照。一部の実施形態では、接続が１００ｍｓを越えてアイドル状態である場合、ＲＦはタイムアウトした。
【0045】
【表4】
【0046】
一実施形態では、足圧力センサゾーンのスキャンがＦｏｏｔＳｃａｎルーチンにより行われ、このルーチンではＦｏｏｔＤａｔａＢｕｆｆｅｒＩｎｄｅｘが初期化されて足圧力センサゾーンが出力［ＰＴＣＤＤ＿ＰＴＣＤＤＮ＝Ｏｕｔｐｕｔ］に対するＭＣＵ方向モードを有効化して関連するポート線をｌｏｗにする［ＰＴＣＤ＿ＰＴＣＤ６＝０］ことで活性化される。足圧力センサゾーンが足圧力ゾーンスキャンマップに基づいて活性化されると、ＭＣＵのアナログ信号ポートに連結された足圧力センサゾーンはサンプリングされ、現在の電圧測定値がこれらをデジタル形式（時間ゾーン足圧力）へ変換する。
【0047】
ＦｏｏｔＤａｔａＢｕｆｆｅｒＩｎｄｅｘやＩＭＵＢｕｆｆｅｒＩｎｄｅｘなどのいくつかの変数が、ＦｏｏｔＤａｔａＢｕｆｆｅｒ［］およびＩＭＵＢｕｆｆｅｒ［］で使用されるデータを送信するための、ＩＥＥＥ ８０２．１５．４ ＲＦパケット、ｇｓＴｘＰａｃｋｅｔ．ｇａｕ８ＴｘＤａｔａＢｕｆｆｅｒ［］を準備するために使用される。ＲＦパケットは、ＲＦＳｅｎｄＲｅｑｕｅｓｔ（およびｇｓＴｘＰａｃｋｅｔ）ルーチンを用いて送信される。このルーチンは、ｇｕ８ＲＴｘＭｏｄｅがＩＤＬＥ＿Ｍｏｄｅに設定されているかを確認するためにチェックを行い、ｇｓＴｘＰａｃｋｅｔをＲＡＭＤｒｖＷｒｉｔｅＴｘルーチンを呼び出すためのポインタとして使用し、ＲＡＭＤｒｖＷｒｉｔｅＴｘルーチンがＲＦトランシーバのＴＸパケット長レジスタの内容を読み出すためにＳＰＩＤｒｖＲｅａｄを呼び出す。これらの内容を用いて、マスク長設定が更新され、ＣＲＣに２を加算し、コードバイトに２を加算する。
【0048】
ＳＰＩＳｅｎｄＣｈａｒが２番目のコードバイトである０ｘ７Ｅバイトを送信するために呼び出され、その後にＳＰＩＷａｉｔＴｒａｎｓｆｅｒＤｏｎｅが送信が行われたことを検証するために再度呼び出される。これらのコードバイトが送信されると、パケットの残りはｆｏｒループを用いて送信され、ここでｐｓＴｘＰｋｔ→ｕ８ＤａｔａＬｅｎｇｔｈ＋１はＳＰＩＳｅｎｄＣｈａｒ、ＳＰＩＷａｉｔＴｒａｎｓｆｅｒＤｏｎｅ、ＳＰＩＣｌｅａｒＲｅｃｉｅｖｅＤａｔａＲｅｇに対する一連のシーケンシャルに対する反復回数である。完了すると、ＲＦトランシーバは送信するパケットがロードされる。ＡＮＴＥＮＮＡ＿ＳＷＩＴＣＨは送信を行うよう設定され、ＬＮＡ＿ＯＮモードは有効化され、最後に実際にパケットを送信するためにＲＴＸＥＮＡｓｓｅｒｔの呼び出しが行われる。
【0049】
収集器
収集器１０６の主な機能は、後述されるように、エッジ処理１０４からのデータをキャプチャしてデータを分析システム１０８へ転送し、処理されたデータを分析システム１０８から受信してデータを音楽療法センター１１０へ転送することである。一部の実施形態では、収集器１０６は制御機能、例えば、ログインを行い、システムを構成し、ユーザとインタラクションを行うためのユーザインタフェースを提供し、データを視覚化／表示するための表示ユニットを備える。収集器１０６は、分類（例えば、横方向震え、非対称性、不安定性など）のために軽量分析または機械学習されるアルゴリズムを含むことができる。
収集器１０６の主な機能は、後述されるように、エッジ処理１０４からのデータをキャプチャしてデータを分析システム１０８へ転送し、処理されたデータを分析システム１０８から受信してデータを音楽療法センター１１０へ転送することである。一部の実施形態では、収集器１０６は制御機能、例えば、ログインを行い、システムを構成し、ユーザとインタラクションを行うためのユーザインタフェースを提供し、データを視覚化／表示するための表示ユニットを備える。収集器１０６は、分類（例えば、横方向震え、非対称性、不安定性など）のために軽量分析または機械学習されるアルゴリズムを含むことができる。
【0050】
収集器１０６は、エッジプロセッサ１０４から身体、動き、および局所化データを受信する。収集器１０６において受信されるデータは生とすることができる、または収集器へ転送する前にエッジ１０４で処理することができる。例えば、収集器１０６は、「ウインドウ処理」、および特徴抽出が行われる、フュージョンされたセンサデータを受信する。転送されたデータは２つのレベルのデータ、すなわち、（１）表１に記載される右足／左足センサから送信されるＲＦパケット、（２）表２、表３に記載されるより高レベルの属性および特徴を含む右足／左足センサからのＲＦパケットを含みうる。収集器１０６はデータを局所的に記憶する。一部の実施形態では、収集器１０６は受信したデータから動きを分類する、例えば、局所的に記憶された（分析システムから予めダウンロードされた）モデル、または分析システムへ送信されたモデルとこのデータを分類するために比較する。収集器は、データを視覚化／表示するための表示ユニットを備えることができる。
【0051】
一部の実施形態では、収集器１０６は、メモリ、プロセッサ、およびディスプレイを備えるローカルコンピュータ上で動作する。収集器が設置される例示の装置には、拡張現実（ＡＲ）装置、仮想現実（ＶＲ）装置、タブレット、携帯機器、ノートブックコンピュータ、デスクトップコンピュータ、および同種のものを含みうる。図２は、ディスプレイ２２２を有し、収集機能を実行する携帯型機器２２０を示す。一部の実施形態では、患者センサと収集器の間でデータを転送するための接続パラメータは、Ｗｉｎｄｏｗｓのデバイスマネージャーの使用を含む（例えば、ボーレート：３８４００、データビット：８、パリティ：なし、ストップビット：１）ようにされる。一部の実施形態では、収集器１０６は、音楽療法の患者に保持される、または装着されるプロセッサを備える。一部の実施形態では、収集器１０６は、音楽療法の患者から遠隔にあり、療法士により携行され、無線または有線の接続により音楽療法の患者と接続されるプロセッサを備える。
【0052】
一実施形態では、足圧力／６自由度運動収集ノードは、足圧力／６自由度モーションキャプチャ装置からのリアルタイムの足圧力／６自由度運動プロファイルデータを含む、ＲＦ送信されたデータパケットをキャプチャする。これは、ＲＦトランシーバパケット受信割り込みに対するコールバック関数により駆動されるＲＦパケット受信キューを作成する足圧力／６自由度運動収集ノードにより開始される。
【0053】
ＲＦパケットが足圧力／６自由度モーションキャプチャ装置２００から受信されると、まず、これが新しい足圧力／６自由度モーションキャプチャ装置からであるか、または既存のものからであるかを判定するためにチェックが行われる。これが既存の足圧力／６自由度モーションキャプチャ装置からである場合は、さらにパケットを分析する前にＲＦパケットシーケンス番号がチェックされて、連続的同期が判定される。これが足圧力をキャプチャする６自由度モーション装置である場合は、足圧力／６自由度モーションキャプチャ装置コンテキスト状態ブロックが作成されて初期化される。コンテキスト状態ブロックは情報、例えば足圧力プロファイルを含む。
【0054】
ノード間通信のためのこのＲＦパケットセッションレベルプロセスの上には、ＲＦパケットデータペイロードの分析がある。このペイロードは、６自由度運動に追従する現在の可変圧力に基づく足圧力プロファイルを含む。これは以下のように構成される。
｜０ｘ１０｜開始｜Ｆ１｜Ｆ２｜Ｆ３｜Ｆ４｜Ａｘ｜Ａｙ｜Ａｚ｜Ｐｉ｜Ｙｉ｜Ｒｉ｜ＸＯＲチェックサム｜
｜０ｘ１０｜開始｜Ｆ１｜Ｆ２｜Ｆ３｜Ｆ４｜Ａｘ｜Ａｙ｜Ａｚ｜Ｐｉ｜Ｙｉ｜Ｒｉ｜ＸＯＲチェックサム｜
【0055】
ＩＥＥＥ８０２．１５．４標準は、１２７バイトの最大パケットサイズを規定しており、時間同期メッシュプロトコル（ＴＳＭＰ）が動作用に４７バイトを予約するため、ペイロード用に８０バイトが残る。ＩＥＥＥ８０２．１５．４は、２．４ＧＨｚの産業科学医療用（ＩＳＭ）バンドの無線周波数（ＲＦ）トランシーバに適合している。
【0056】
ＲＦモジュールは、ＩＥＥＥ８０２．１５．４無線標準用に設計された、ピアツーピア、スター、およびメッシュネットワークに対応する完全な８０２．１５．４物理層（ＰＨＹ）モデムを含む。ＲＦモジュールはＭＣＵと組み合わされて、必要とされる無線ＲＦデータリンクおよびネットワークを作成する。ＩＥＥＥ８０２．１５．４トランシーバは、５．０ＭＨｚのチャネルでの２５０ｋｂｐｓのＯ－ＱＰＳＫデータおよび全拡散スペクトルの符号化／復号化に対応する。
【0057】
一部の実施形態では、制御、状態の読み取り、データの書き込み、およびデータの読み出しは、検出システムノード装置のＲＦトランシーバインタフェースポートを介して行われる。検出システムノード装置のＭＰＵは、インタフェースバス上で多数のバイト長データのバーストが送信されるインタフェース「トランザクション」により、検出システムノード装置のＲＦトランシーバにアクセスする。各トランザクションは、トランザクションの種類に応じて３バースト長以上である。トランザクションは、常にレジスタアドレスへの読み出しアクセスまたは書き込みアクセスである。任意の１回のレジスタアクセスの関連データは、常に１６ビットの長さである。
【0058】
一部の実施形態では、足圧力／６自由度運動収集ノードのＲＦトランシーバの制御およびデータ転送は、シリアルペリフェラルインタフェース（ＳＰＩ）を用いて実現される。通常のＳＰＩプロトコルは８ビット転送に基づいているが、足圧力／６自由度運動収集ノードのＲＦトランシーバは、トランザクション毎に多数の８ビット転送に基づくより高レベルのトランザクションプロトコルを課す。一つのＳＰＩ読み出しまたは書き込みトランザクションは、８ビットのヘッダ転送と、それに続く２回の８ビットデータ転送から成る。
【0059】
ヘッダはアクセスの種類およびレジスタアドレスを示す。続くバイトは読み出しまたは書き込みのデータである。また、ＳＰＩは、更なるデータ転送が発生しうる再帰的な「データバースト」トランザクションに対応する。再帰的モードは、主にパケットＲＡＭアクセスおよび足圧力／６自由度運動収集ノードのＲＦの高速な設定を目的としている。
【0060】
一部の実施形態では、すべての足圧力センサゾーンは連続的にスキャンされ、リセット状態または不活性パワーダウンモードとなるまで、プロセス全体が繰り返される。６自由度の運動がＭＣＵから慣性計測装置（ＩＭＵ）へのシリアルＵＡＲＴインタフェースによりキャプチャされる。すべての検出次元、すなわちＡｘ、Ａｙ、Ａｚ、ピッチ、ヨー、ロールのサンプリングレートは１００Ｈｚ～３００Ｈｚであり、サンプリングされたデータはＩＭＵＢｕｆｆｅｒ［］に格納される。
【0061】
ＴＸパケット長フィールドを更新するため、ＳＰＩＤｒｙＷｒｉｔｅが呼び出される。次に、状態レジスタをクリアするためにＳＰＩＣｌｅａｒＲｅｃｉｅｖｅＳｔａｔＲｅｇが呼び出され、続いて、受信データレジスタをクリアするためにＳＰＩＣｌｅａｒＲｅｃｉｅｖｅＤａｔａＲｅｇが呼び出されて、ＳＰＩインタフェースを読み出しまたは書き込みに対して準備できた状態とする。ＳＰＩインタフェースが準備できた状態で、ＳＰＩＳｅｎｄＣｈａｒが呼び出されて、最初のコードバイトを表す０ｘＦＦの文字が送信されて、ＳＰＩＷａｉｔＴｒａｎｓｆｅｒＤｏｎｅが呼び出されて送信が行われたことが検証される。
【0062】
図５は、携帯型機器のディスプレイ２２２上に提供されうる例示の出力３００である。例えば、患者の歩行に対して治療が施される場合、ディスプレイ出力３００は右足用の部分３０２と左足用の部分３０４とを含みうる。時間の関数として、右足用の表示は加速度Ａｘ ３１０ａ、Ａｙ ３１２ａ、およびＡｚ ３１４ａと、足圧力３１６ａとを含む。同様に、左足用の表示は加速度Ａｘ ３１０ａ、Ａｙ ３１２ａ、およびＡｚ ３１４ａと、足圧力３１６ａとを含む。
【0063】
分類は、データ（例えばセンサフュージョンされたデータ、特徴データ、または属性データ）の現実世界の事象（例えば患者の活動または気質）に対しての相関であると理解される。典型的には、分類は分析システム１０８上で作成されて実行される。一部の実施形態では、収集器１０６は一部の「テンプレート」のローカルコピーを有する。したがって、入力されるセンサデータと特徴が抽出されたデータは、収集器または分析システムにおいて分類することができる。
【0064】
コンテキストとは、事象、発言、状況、または考えの背景を形成する状況または事実を指す。コンテキストを意識した（Ｃｏｎｔｅｘｔ－ａｗａｒｅ）アルゴリズムは、アルゴリズムが特定のデータに対して実行される環境および時間に関連する、「誰が」、「何を」、「いつ」、「どこで」を精査する。いくつかのコンテキストを意識した動作には、身元、場所、時間、および実行されている活動が含まれる。決定的な動作を作成するためにコンテキスト情報を用いる際には、患者と環境と音楽療法セッションの間でコンテキストインタフェースが生成される。
【0065】
音楽療法セッションに対する患者の反応のコンテキストには、フュージョンされたセンサデータを解釈してより高レベルの情報を推測するアルゴリズムの層が含まれうる。これらのアルゴリズムは、患者の反応のコンテキストを精製する。例えば、患者の生体力学的な歩行のシーケンスは、音楽療法セッションの特定の部分に関係しているので、分析される。一例では、「横方向震え」は着目する分類子である。したがって、患者の歩行は、横方向震えがより少ないと円滑になると判定される。
【0066】
分析システム
バックエンドシステムと呼ばれることがある分析システム１０８は、大規模なモデル／アーカイブを記憶し、本明細書に記載されるモデルを用いた機械学習／分析処理を含む。一部の実施形態では、保管されているデータを閲覧するためのログイン用のウェブインタフェース、およびダッシュボードも提供される。一部の実施形態では、分析システム１０８は、携帯型機器やタブレット２２０などの携帯型ユニット上で動作する収集器１０６からデータを受信する、リモートサーバコンピュータ上に配置される。分析システム１０８の分析機能および機械学習機能を実行するのに必要な処理能力も携帯型機器２２０上に配置しうると考えられる。
バックエンドシステムと呼ばれることがある分析システム１０８は、大規模なモデル／アーカイブを記憶し、本明細書に記載されるモデルを用いた機械学習／分析処理を含む。一部の実施形態では、保管されているデータを閲覧するためのログイン用のウェブインタフェース、およびダッシュボードも提供される。一部の実施形態では、分析システム１０８は、携帯型機器やタブレット２２０などの携帯型ユニット上で動作する収集器１０６からデータを受信する、リモートサーバコンピュータ上に配置される。分析システム１０８の分析機能および機械学習機能を実行するのに必要な処理能力も携帯型機器２２０上に配置しうると考えられる。
【0067】
データは分析処理のために収集器１０６から分析システム１０８へ転送される。図６に示すように、分析処理４００は、収集器１０６からデータを受信するユーザインタフェース４０２を含む。データベース記憶装置４０４は、収集器１０６から入力されるデータを記憶するために受信する。分析処理（例えばアンサンブル機械学習システム４１０）の訓練データおよび出力も、予測モデルおよび分類子の作成および改良を容易にするために記憶装置４０４に記憶することができる。データバス４０６により分析処理を通るデータが流れることができる。１つまたは複数の予測モデルを導出するために訓練プロセス４０８が訓練データに対して行われる。アンサンブル機械学習システム４１０は予測モデルを利用する。アンサンブル機械学習システム４１０の出力は、これらの予測モデルの集約である。この集約された出力は、震え、対称性、円滑性、または同調、開始などの学習された生体力学的パラメータなどのテンプレート分類子４１２を用いた分類要求でも使用される。ＡＰＩ４１８は収集器および／または音楽療法センターへ接続する。治療アルゴリズム４１４および予測アルゴリズム４１６には、多層パーセプトロンニューラルネットワーク、隠れマルコフモデル、放射基底関数ネットワーク、ベイズ推定モデルなどが含まれる。
【0068】
本明細書に記載されるシステムおよび方法の例示の用途は、患者の生体力学的な歩行の分析である。歩行シーケンスは特徴抽出されて、一連の特徴的な特徴が取り出される。キャプチャされたセンサフュージョンされたデータにおけるこれらおよび他の特徴の存在は、患者の生体力学的歩行シーケンスが妥当であるかどうかをコンテキスト検出アルゴリズムに知らせる。生体力学的歩行シーケンスのキャプチャには、頑健なコンテキスト検出が必要とされ、生体力学的歩行シーケンスはその後、音楽療法の患者の代表的母集団に対して抽象化される。
【0069】
そのような活動の一例は、時間的にある場合における患者の場所とその時点での音楽療法に対する患者の反応である。患者の音楽療法への反応の認識と相関によって、音楽療法の患者の特定のパターンの反応の認識が可能となる。音楽療法の患者の反応の基準を作成し、この基準を将来の音楽療法の患者の反応に相関付けることで、特定の音楽療法管理体制が成績および有効性に関して評価および分析される。
【0070】
運動の検出と共に、歩行の生体力学的キャプチャに伴う距離の尺度が、２つ以上の音楽療法セッションの間の時間的および空間的な変化量／偏差を用いて、患者の経路の軌跡を判定するのに用いられる。このセンサフュージョンされたデータのキャプチャから、特徴が抽出および分類されて、様々な鍵となる患者の療法への反応がラベル付けされる。更なるセンサフュージョンされたデータの分析でヒストグラムを用いることで、初期の音楽療法への反応パターンの検出が可能となる。
【0071】
音楽療法セッションのセンサフュージョンされたデータの分析では、最初は、マルコフ連鎖を利用した患者特有のベイズ推定モデルが用いられる。連鎖の状態は、音楽療法の基本セッションからキャプチャされた患者特有の反応パターンを表す。患者の反応パターンの各サンプル間隔での出現の知識、および以前の状態に対する時間的関連に基づいて、推測が行われる。
【0072】
予測ルーチンおよび多層パーセプトロンニューラルネットワーク（ＭＬＰＮＮ）は最上層ルートノードを有する、有向グラフノードベースのモデルを使用し、このモデルは、後続のノードへ到達して患者のセンサフュージョンされたデータの特徴ベクトルを得るための必要条件を予測する。このセンサフュージョンされたデータの特徴ベクトルは、時系列処理された運動データと、音楽署名データと、更なる処理で特に重要なビデオ画像データとを含む。この場合、有向グラフは上下逆に描かれたツリーのように見えて、葉がツリーの一番下にあり、根がルートノードである。各ノードから、ルーチンは左に進むことができて、ここで左はルートノードが位置する最上層の下の次の層にある左ノードであり、左のサブノードが次に観測されるノードとして選択され、あるいはルーチンは右に進むことができて、ここで右はルートノードが位置する最上層の下の次の層にある右ノードであり、これはそのインデックスが観測されたノードに記憶されている特定の変数の値に基づく。値が閾値未満である場合、ルーチンは左のノードへ進み、閾値より大きい場合には、ルーチンは右のノードへ進む。これらの領域、ここでは左および右は、予測空間となる。
【0073】
モデルは、２種類の入力変数を使用する、すなわち、順序付けされた変数とカテゴリ変数である。順序付けされた変数は、やはりノードに記憶されている閾値と比較される値である。カテゴリ変数は離散値であり、特定の限定された値のサブセットに属しているかどうか確認するためにテストされ、ノードに記憶されている。この変数は様々な分類に適用可能である。例えば、震えを記述するのに軽度、中程度、および重度を使用することができて、これらはカテゴリ変数の例である。反対に、震えを記述するのに非常に細かく刻まれた値の範囲または数値目盛を同様に（ただし数値的に）使用することもできる。
【0074】
カテゴリ変数が限定された値の集合に属している場合、ルーチンは左のノードへ進み、そうでない場合はルーチンは右のノードへ進む。各ノードにおいて、この決定を行うのにエンティティのペア、すなわち、ｖａｒｉａｂｌｅ＿ｉｎｄｅｘおよびｄｅｃｉｓｉｏｎ＿ｒｕｌｅ（閾値／サブセット）が用いられる。このペアは分割と呼ばれ、変数ｖａｒｉａｂｌｅ＿ｉｎｄｅｘに応じて分割される。
【0075】
ノードに到達すると、このノードに割り当てられた値が予測ルーチンの出力として使用される。多層パーセプトロンニューラルネットワークは、ルートノードから始まり再帰的に構築される。すべての訓練データ、特徴ベクトル、および反応が前述されたようにルートノードを分割するのに用いられ、エンティティ、ｖａｒｉａｂｌｅ＿ｉｎｄｅｘおよびｄｅｃｉｓｉｏｎ＿ｒｕｌｅ（閾値／サブセット）は予測領域を分割する。各ノードにおいて、最良の一次分割に対する最適な決定規則が、分類に対するジニ「純度」基準と回帰の２乗誤差の合計とに基づいて見つけられる。ジニ係数は、集合のクラス全体での全分散の測定値に基づく。ジニ「純度」基準とは小さなジニ係数値を指し、ノードが所望の状態である単一クラスからの観察を主に含むことを示す。
【0076】
多層パーセプトロンニューラルネットワークは、一旦構築されたら、交差検証ルーチンを用いてプルーニング（剪定）することができる。モデルが過剰適合するのを避けるため、ツリーの分岐の一部が切除される。このルーチンは、独立した決定に適用することができる。上述した決定アルゴリズム（ＭＬＰＮＮ）の際立った特性の一つは、各変数の相対的な決定力および重要度を計算する能力である。
【0077】
変数の重要度の格付けは、患者インタラクション特徴ベクトルに対して最も頻繁なインタラクションの種類を判定するのに用いられる。音楽療法への反応および音楽療法の事象の様々なカテゴリを区別するのに適した決定空間の定義をもって、パターン認識が始まる。決定空間は、Ｎ次元のグラフにより表現することができて、ここでＮは音楽療法への反応および音楽療法の事象を表現すると考えられる属性または測定値の数である。Ｎ個の属性は、グラフにプロットできる特徴ベクトルまたは署名を構成する。充分なサンプルが入力された後に、決定空間は様々なカテゴリに属する音楽療法への反応および音楽療法の事象の集まりを明らかにし、新しいベクトルをこれらの集まりに関連付けるのに決定空間が用いられる。
【0078】
動的閉ループリハビリテーションプラットフォーム音楽療法システムは、パターンを学習および再現するためにいくつかの深層学習ニューラルネットワークを利用する。一実施形態では、非線形決定空間が適応的放射基底関数（ＲＢＦ）モデル生成器を用いて構築される。新しいベクトルは、ＲＢＦモデルを用いて、および／またはｋ近傍法分類子を用いて計算することができる。図６は、動的閉ループリハビリテーションプラットフォーム音楽療法システムの機械学習サブシステムのワークフローを示す。
【0079】
図７は、多数の訓練サンプル５０２を含む教師あり訓練プロセス４０８を示し、例えば、入力は上記の表３に記載される特徴であって、出力の例は、震え、非対称性、力などの項目、これらの項目の度合い、変更の予測、患者がどれだけ良好に回復しているかの分類、である。新しい出力は、このプロセスの一部として学習されることが理解される。このプロセスは、このプロセスが様々なユースケース（例えば、様々な病状、薬剤との組み合わせ、プロバイダへの通知、適切性、転倒防止）へ適用される場合の、より高レベルの予測と分類の抽象化の基盤を提供する。これらの訓練サンプル５０２は学習アルゴリズムＡ１ ５０４ａ、Ａ２ ５０４ｂ、Ａ３ ５０４ｃ、・・・、ＡＮ ５０４ｎを用いて実行されて、Ｍ１ ５０６ａ、Ｍ２ ５０６ｂ、Ｍ３ ５０６ｃ、・・・、ＭＮ ５０６ｎにおいて予測モデルが導出される。例示のアルゴリズムとして、多層パーセプトロンニューラルネットワーク、隠れマルコフモデル、放射基底関数ネットワーク、ベイズ推定モデルが挙げられる。
【0080】
図８は、例えば特徴抽出されたデータであるサンプルデータ６０２に対する予測モデルＭ１ ５０６ａ、Ｍ２ ５０６ｂ、Ｍ３ ５０６ｃ、・・・、ＭＮ ５０６ｎの集合としての、多数の予測結果データ６０６ａ、６０６ｂ、６０６ｂ、・・・、６０６ｎを提供するアンサンブル機械学習システム４１０を示す。例えば決定規則と投票を含む集約層６０８が、複数の予測モデルを与えられた場合に、出力６１０を導出するのに用いられる。
【0081】
ＭＲ ＣｏｎｖＮｅｔシステムは２つの層を持ち、第１層は平均プーリングをサポートする畳み込み層である。ＭＲ ＣｏｎｖＮｅｔシステムの第２層は、多項ロジスティック回帰をサポートする全結合層である。多項ロジスティック回帰は、ソフトマックスとも呼ばれるが、多数のクラス（マルチクラス）を扱うためにロジスティック回帰を一般化したものである。ロジスティック回帰の場合は、ラベルはバイナリである。
【0082】
ソフトマックスは、様々な取り得る出力の確率を予測するのに用いられるモデルである。以下では、ソフトマックスの最終出力層を用いてｍ個の個別のクラスを有するマルチクラス分類器を想定している。
Ｙ１＝Ｓｏｆｔｍａｘ（Ｗ１１＊Ｘ１＋Ｗ１２＊Ｘ２＋Ｗ１３＊Ｘ３＋Ｂ１） ［１］
Ｙ２＝Ｓｏｆｔｍａｘ（Ｗ２１＊Ｘ１＋Ｗ２２＊Ｘ２＋Ｗ２３＊Ｘ３＋Ｂ２） ［２］
Ｙ３＝Ｓｏｆｔｍａｘ（Ｗ３１＊Ｘ１＋Ｗ３２＊Ｘ２＋Ｗ３３＊Ｘ３＋Ｂ３） ［３］
Ｙｍ＝Ｓｏｆｔｍａｘ（Ｗｍ１＊Ｘ１＋Ｗｍ２＊Ｘ２＋Ｗｍ３＊Ｘ３＋Ｂｍ） ［４］
概して、
Ｙ＝ｓｏｆｔｍａｘ（Ｗ＊Ｘ＋Ｂ） ［５］
Ｓｏｆｔｍａｘ（Ｘ）ｉ＝ｅｘｐ（Ｘｉ）／（ｊ＝１ ～Ｎのｅｘｐ（Ｘｊ）の総和） ［６］
ただし、Ｙ＝分類器出力、Ｘ＝サンプル入力（スケーリング（正規化）されたすべての特徴量）、Ｗ＝重み行列。分類は、例えばスコアの非対称性であり、例えば、「中程度の非対称性スコア、１０点中（高いレベルの非対称性である１０点から非対称性なしの０点まで）で６点」、歩行円滑性（「歩行円滑性スコアが１０点（正常）中で８点」）、などとなる。分析パイプラインが図９に示されている。
Ｙ１＝Ｓｏｆｔｍａｘ（Ｗ１１＊Ｘ１＋Ｗ１２＊Ｘ２＋Ｗ１３＊Ｘ３＋Ｂ１） ［１］
Ｙ２＝Ｓｏｆｔｍａｘ（Ｗ２１＊Ｘ１＋Ｗ２２＊Ｘ２＋Ｗ２３＊Ｘ３＋Ｂ２） ［２］
Ｙ３＝Ｓｏｆｔｍａｘ（Ｗ３１＊Ｘ１＋Ｗ３２＊Ｘ２＋Ｗ３３＊Ｘ３＋Ｂ３） ［３］
Ｙｍ＝Ｓｏｆｔｍａｘ（Ｗｍ１＊Ｘ１＋Ｗｍ２＊Ｘ２＋Ｗｍ３＊Ｘ３＋Ｂｍ） ［４］
概して、
Ｙ＝ｓｏｆｔｍａｘ（Ｗ＊Ｘ＋Ｂ） ［５］
Ｓｏｆｔｍａｘ（Ｘ）ｉ＝ｅｘｐ（Ｘｉ）／（ｊ＝１ ～Ｎのｅｘｐ（Ｘｊ）の総和） ［６］
ただし、Ｙ＝分類器出力、Ｘ＝サンプル入力（スケーリング（正規化）されたすべての特徴量）、Ｗ＝重み行列。分類は、例えばスコアの非対称性であり、例えば、「中程度の非対称性スコア、１０点中（高いレベルの非対称性である１０点から非対称性なしの０点まで）で６点」、歩行円滑性（「歩行円滑性スコアが１０点（正常）中で８点」）、などとなる。分析パイプラインが図９に示されている。
【0083】
ソフトマックス回帰により、２つを超える多数のクラスを扱うことが可能となる。ロジスティック回帰では、
Ｐ（ｘ）＝１／（１＋ｅｘｐ（－Ｗｘ））
ここで、Ｗは費用関数を最小化するよう訓練されたモデルパラメータを含む。また、ｘは入力特徴ベクトルであり、
（（ｘ（１）， ｙ（１）），・・・，（ｘ（ｉ）， ｙ（ｉ））） ［７］
は、訓練セットを表す。マルチクラス分類ではソフトマックス回帰が用いられ、バイナリの場合の１と０に代えて、クラスを表すＮ個の異なる値が取り得る。それゆえ、訓練セット（（ｘ（１），ｙ（１）），・・・，（ｘ（ｉ），ｙ（ｉ）））に対しては、ｙ（ｎ）は１からＮのクラスの範囲の任意の値でありうる。
Ｐ（ｘ）＝１／（１＋ｅｘｐ（－Ｗｘ））
ここで、Ｗは費用関数を最小化するよう訓練されたモデルパラメータを含む。また、ｘは入力特徴ベクトルであり、
（（ｘ（１）， ｙ（１）），・・・，（ｘ（ｉ）， ｙ（ｉ））） ［７］
は、訓練セットを表す。マルチクラス分類ではソフトマックス回帰が用いられ、バイナリの場合の１と０に代えて、クラスを表すＮ個の異なる値が取り得る。それゆえ、訓練セット（（ｘ（１），ｙ（１）），・・・，（ｘ（ｉ），ｙ（ｉ）））に対しては、ｙ（ｎ）は１からＮのクラスの範囲の任意の値でありうる。
【0084】
次に、ｐ（ｙ＝Ｎ｜ｘ；Ｗ）は、ｉ＝１、・・・、Ｎの各値に対する確率である。以下は、ソフトマックス回帰プロセスを数学的に示している。
Ｙ（ｘ ＝（ｐ（ｙ＝１｜ｘ；Ｗ），ｐ（ｙ＝２｜ｘ；Ｗ），・・・，ｐ（ｙ＝Ｎ｜ｘ；Ｗ)) ［８］
ここで、Ｙ（ｘ）は仮説に対する答えであり、入力ｘが与えられた場合に、すべてのクラスに対する確率分布を正規化されたその総和が１となるように出力する。
Ｙ（ｘ ＝（ｐ（ｙ＝１｜ｘ；Ｗ），ｐ（ｙ＝２｜ｘ；Ｗ），・・・，ｐ（ｙ＝Ｎ｜ｘ；Ｗ)) ［８］
ここで、Ｙ（ｘ）は仮説に対する答えであり、入力ｘが与えられた場合に、すべてのクラスに対する確率分布を正規化されたその総和が１となるように出力する。
【0085】
ＭＲ ＣｏｎｖＮｅｔシステムは、ベクトルとしてのウインドウ内のすべての生体力学データフレームと、ベクトルとしてのすべての生体力学的テンプレートフィルタとを畳み込み、特徴応答を平均化する平均プーリング関数を用いて応答を生成する。畳み込み処理は、任意のバイアスを加算してＷｘを計算し、これをロジスティック回帰（シグモイド）関数へと渡す。
【0086】
次に、ＭＲ ＣｏｎｖＮｅｔシステムの第２層において、サブサンプリングされた生体力学的テンプレートフィルタ応答が２次行列へと移動され、各列はウインドウ内の生体力学データフレームをベクトルとして表す。ここで、ソフトマックス回帰活性化処理が次式を用いて開始される。
Ｙ（ｘ）＝（１／（ｅｘｐ（Ｗｘ）＋ｅｘｐ（Ｗｘ）＋・・・＋ｅｘｐ（Ｗｘ））＊（ｅｘｐ（Ｗｘ），ｅｘｐ（Ｗｘ），・・・，（ｅｘｐ（Ｗｘ）） ［９］
Ｙ（ｘ）＝（１／（ｅｘｐ（Ｗｘ）＋ｅｘｐ（Ｗｘ）＋・・・＋ｅｘｐ（Ｗｘ））＊（ｅｘｐ（Ｗｘ），ｅｘｐ（Ｗｘ），・・・，（ｅｘｐ（Ｗｘ）） ［９］
【0087】
ＭＲ ＣｏｎｖＮｅｔシステムは、最適化アルゴリズムである、費用関数Ｊ（Ｗ）が定義されて最小化される勾配降下法を用いて訓練される。
Ｊ（Ｗ）＝１／ｊ＊（（Ｈ（ｔ（ｊ＝１），ｐ（ｙ＝１｜ｘ；Ｗ）＋Ｈ（ｔ（ｊ＝２），ｐ（ｙ＝２｜ｘ；Ｗ）＋・・・＋Ｈ（ｔ（ｊ），ｐ（ｙ＝Ｎ｜ｘ；Ｗ）） ［１０］
ここで、ｔ（ｊ）は目標クラスである。これにより、ｊ個の訓練サンプルに対するすべての交差エントロピーが平均化される。交差エントロピー関数は、
Ｈ（ｔ（ｊ），ｐ（ｙ＝Ｎ｜ｘ；Ｗ）＝－ｔ（ｊ＝１）＊ｌｏｇ（ｐ（ｙ＝１｜ｘ；Ｗ)）＋ｔ（ｊ＝２）＊ｌｏｇ（ｐ（ｙ＝２｜ｘ；Ｗ））＋・・・＋ｔ（ｊ ）＊ｐ（ｙ＝Ｎ｜ｘ；Ｗ） ［１１］
Ｊ（Ｗ）＝１／ｊ＊（（Ｈ（ｔ（ｊ＝１），ｐ（ｙ＝１｜ｘ；Ｗ）＋Ｈ（ｔ（ｊ＝２），ｐ（ｙ＝２｜ｘ；Ｗ）＋・・・＋Ｈ（ｔ（ｊ），ｐ（ｙ＝Ｎ｜ｘ；Ｗ）） ［１０］
ここで、ｔ（ｊ）は目標クラスである。これにより、ｊ個の訓練サンプルに対するすべての交差エントロピーが平均化される。交差エントロピー関数は、
Ｈ（ｔ（ｊ），ｐ（ｙ＝Ｎ｜ｘ；Ｗ）＝－ｔ（ｊ＝１）＊ｌｏｇ（ｐ（ｙ＝１｜ｘ；Ｗ)）＋ｔ（ｊ＝２）＊ｌｏｇ（ｐ（ｙ＝２｜ｘ；Ｗ））＋・・・＋ｔ（ｊ ）＊ｐ（ｙ＝Ｎ｜ｘ；Ｗ） ［１１］
【0088】
図１０において、アンサンブル機械学習システム４０８は、例えば、テンプレート系列１（震え）７０６ａ、テンプレート系列２（対称性）７０６ｂ、テンプレート系列３（円滑性）７０６ｃ、．．．、更なるテンプレート（例えば同調や開始といった、他の学習された生体力学的パラメータ）７０６ｎである複数の予測モデルを含み、これらの予測モデルは、例えば、右および左でのストライド長の特徴（ｘ１、ｘ２）、右および左でのストライド長の分散の特徴（ｘ３、ｘ４）、右および左での歩調（ｘ６、ｘ７）、右および左での歩調の分散（ｘ８、ｘ９）、などでありえる調整された入力７０２に対して適用され、サンプル（ｘ１、ｘ２、．．．、ｘｎ）はＭＬアルゴリズムのアンサンブルにおいて７０２へ入力されるベクトルＸと呼ばれる。これらは、調整され参照正規化された、および／またはスケーリングされた入力である。集約分類器７０８は、震えの尺度、対称性の尺度、円滑性の尺度、などとしてそのような情報を出力する。
【0089】
音楽療法センター
音楽療法センター１１０は、図２の携帯型機器またはノートブックコンピュータ２２０などの処理装置上で動作する意思決定システムである。音楽療法センター１１０は、収集器１０６において特徴抽出されたセンサデータから入力を受け取り、それらを治療を施すための規定されたプロセスと比較し、音楽配信システム２３０を介して再生される聴覚刺激コンテンツを供給する。
音楽療法センター１１０は、図２の携帯型機器またはノートブックコンピュータ２２０などの処理装置上で動作する意思決定システムである。音楽療法センター１１０は、収集器１０６において特徴抽出されたセンサデータから入力を受け取り、それらを治療を施すための規定されたプロセスと比較し、音楽配信システム２３０を介して再生される聴覚刺激コンテンツを供給する。
【0090】
本発明の実施形態は、コンテキスト情報を用いてある状況がなぜ発生しているかを判断し、観察された動作を符号化し、これによりシステム状態、ひいては音楽療法セッションに、閉ループで動的で調節された変化を発生させる。
【0091】
患者と音楽療法セッションの間のインタラクションは、動作、姿勢、ストライド、歩行反応を含む、音楽療法の患者のコンテキストの認識を判断するためのリアルタイムデータを提供する。入力データが検出ノードにより（センサにおいて）収集された後に、組み込まれたノードがコンテキストを意識したデータを（エッジ処理において）処理し、即時の動的動作を提供する、および／またはデータを分析システム１０８、例えば、記憶および更なる処理と分析のための弾性ネットワークベースの処理クラウド環境へ送信する。
【0092】
入力に基づいて、プログラムは任意の既存の曲コンテンツを取得し、抑揚、メジャーコード／マイナーコード、拍子、および音楽的キュー（例えば、旋律の美しいキュー、調和的なキュー、リズミカルなキュー、強さのキュー）を変更する。システムはメトロノームを既存の曲に重ね合わせることができる。曲コンテンツは、ビートがいつ発生するかの正確な知識を使って同調余地を算出することができるように、ビートマッピングすることができる（例えば、ＡＶファイルまたはＭＰ３ファイルに応答してＷである場合）、またはＭＩＤＩ形式とすることができる。患者に取り付けられるセンサは、音楽コンテンツにおいて触覚／振動フィードバックパルスを提供するよう構成することができる。
【実施例】
【0093】
方法の例示の適用が本明細書に記載される。歩行訓練は、患者のために再生されている音楽のビートと、それらの音楽の特定のビートに応答して患者が踏み出した個々のステップとの間のリアルタイムの関係を分析する。上述したように、各ステップまたは反復運動に伴いいくらかのばらつきがある、繰り返されるデータのウインドウを判定するため、ゲーティング分析が使用される。一部の実施形態では、ウインドウの先頭は、踵接地圧力が閾値（または他のセンサパラメータ）を超える時点として判定される。図１１は、音楽のビート（「時間ビート」）と、患者により踏み出されるステップ（「時間ステップ」）とを示す例示の時間グラフである。このように、この場合はオンセット時間が「時間ステップ」と関連付けられる。具体的には、このグラフは時間ビート１の時刻における、音楽の時間ビート１１０１を示す。ある時間の後に、患者は時間ビート１００１に応答して、時間ステップ１の時刻においてステップ、すなわち時間ステップ１１０２を踏み出す。同調余地１１０３は、時間ビート１と時間ステップ１の間の遅延（存在する場合）を表す。
【0094】
図１２～図１３は、本明細書に記載されるシステムを用いた患者の歩行の同調の例を示す。図１２は、「完全な」同調、例えば常にゼロの同調余地を示す。これは、時間ビートと、時間ビートに応答して踏み出される関連する時間ステップとの間に遅延がない場合、またはごくわずかな遅延が存在する場合に起こる。図１３は位相シフト同調を示し、これは例えば同調余地が非ゼロであるが一定のままである、または経時的な変動が最小限度の状態である。これは、時間ビートと時間ステップの間に許容範囲内で一定の遅延が経時的に存在する場合に起こる。
【0095】
引き続き図１１を参照すると、時間ビート間の時間の時間ステップ間の時間に対する比としてＥＰ比が計算される。
ＥＰ比＝（時間ビート２―時間ビート１）／（時間ステップ２―時間ステップ１） ［６］
ここで、時間ビート１（１１０１）は第１の音楽ビートの時刻に対応し、時間ステップ１（１１０２）は時間ビート１に応答した患者のステップの時刻に対応する。時間ビート２（１１０６）は第２の音楽ビートの時刻に対応し、時間ステップ２（１１０８）は時間ビート２に応答した患者のステップの時刻に対応する。目標は、ＥＰ比＝１、またはＥＰ比／係数＝１である。係数は以下のように決定される。
この係数により、ビートを再分割することが可能となる、あるいは誰かが３ビート毎に、または４ビートのうちの３ビートでステップをすることが可能となる。これにより、様々なシナリオに対する柔軟性を提供することができる。
ＥＰ比＝（時間ビート２―時間ビート１）／（時間ステップ２―時間ステップ１） ［６］
ここで、時間ビート１（１１０１）は第１の音楽ビートの時刻に対応し、時間ステップ１（１１０２）は時間ビート１に応答した患者のステップの時刻に対応する。時間ビート２（１１０６）は第２の音楽ビートの時刻に対応し、時間ステップ２（１１０８）は時間ビート２に応答した患者のステップの時刻に対応する。目標は、ＥＰ比＝１、またはＥＰ比／係数＝１である。係数は以下のように決定される。
【数1】
この係数により、ビートを再分割することが可能となる、あるいは誰かが３ビート毎に、または４ビートのうちの３ビートでステップをすることが可能となる。これにより、様々なシナリオに対する柔軟性を提供することができる。
【0096】
図１４および図１５は、本明細書に記載される手法を用いた、患者の経時的な同調応答を示す。図１４（左側Ｙ軸：ＥＰ比、右側Ｙ軸：１分あたりのビート数、Ｘ軸：時間）は、第１の患者の歩行のＥＰ比の平均を表す散在するドット１４０２を示す。このグラフは、＋０．１の上限１４０４と－０．１の下限１４０６を示している。線１４０８は経時的なテンポ（１分あたり６０ビートで始まる）を示し、ステップにおいて１００ｂｐｍまで増加する。図１４は、テンポが６０ｂｐｍから１００ｂｐｍまで上げられた場合にＥＰ比が１近辺（±０．１）に留まっていることを示している。図１５は第２の患者の歩行のＥＰ比を示し、テンポが６０ｂｐｍから１００ｂｐｍまで上げられた場合にＥＰ比がやはり１近辺（±０．１）に留まっていることを示している。
【0097】
図１６および図１７（Ｙ軸：同調余地、Ｘ軸：時間）は、時間ビートの変化（例えばテンポの変化）、および／または、コードの変化、触覚フィードバックの変化、足のキューの変化（例えば、左－右というキュー、または右－左－杖というキュー）などに対する２人の患者の反応を示す。図１６は時間ベースのグラフを示し、患者の歩行が「完全な同調」（常にゼロの同調余地、またはごくわずかな同調余地）、または一定の位相シフト同調余地で平衡している。図に示すように、平衡するまでにはある程度の時間（プライム時間１６０２）を要する。図１７は時間ベースのグラフを示し、患者の歩行が平衡しない、例えば、時間ビートに対する変化の後に完全な同調、または一定の位相シフト同調余地に到達しない。プライム時間は、同調の精度の測定とは独立したデータ集合を表すので、有益である。また、プライム時間パラメータは、将来の曲を適切さでスクリーニングするのに使用することもできる。例えば、ある曲が使用されたときに患者が長めのプライム時間を示した場合、そのような曲には治療能力があまりない。
【0098】
図１８は歩行訓練で有益な手法を示し、反復運動は歩行中に患者が踏み出す複数のステップを指す。歩行訓練は、個人に合わせた個別の音楽介入を与えるようにそれぞれの患者の母集団、診断結果、および状態に合わせられる。入力に基づいて、適用可能な場合は、プログラムはコンテンツ、抑揚、メジャーコード／マイナーコード、拍子、および音楽的キュー（例えば、旋律の美しいキュー、調和的なキュー、強さのキュー）を変更する。プログラムは、生年月日、リストに記載された音楽の嗜好、同調するテンポを用いて音楽を選択して、日常的に使用すべき受動的音楽のプレイリストを提供することができる。歩行訓練で重要な入力は、身体活動、例えば歩行を行うユーザの歩調、対称性、およびストライド長である。プログラムは接続されたハードウェアを用いて、音楽のＢＰＭで触覚／振動フィードバックを提供する。歩行訓練に適切な母集団には、外傷性脳損傷（ＴＢＩ）、脳卒中、パーキンソン病、ＭＳ、および老化を抱える患者が含まれる。
【0099】
方法は、ステップ１８０２で始まる。ステップ１８０４において、センサ、例えばセンサ２００、２０６、２０８からのデータに基づく生体力学データが収集器１０６で受信される。生体力学データには、開始、ストライド長、歩調、対称性、補助器具に関するデータ、または分析システム１０８により記憶、生成された、患者の他のそのような特徴の集合が含まれる。例示の生体力学データパラメータが、上記の表１、表２、表３に挙げられている。基本的状態は、１つまたは複数のデータソースから判定される。第１に、音楽が再生されずに患者の歩行が検出される。患者の開始、ストライド長、歩調、対称性、補助器具に関するデータなどのセンサデータおよび特徴データが、治療セッションでの患者の基本的生体力学データを構成する。第２に、同じ患者の以前のセッションのセンサデータと、分析システム１０８からのより高レベルの分類データが、患者の履歴データを構成する。第３に、センサデータと、他の同様の状況に置かれた患者に対するより高レベルの分類データが母集団データを構成する。このように、基本的状態には、（ａ）治療セッションでの患者の基本的生体力学データ、（ｂ）患者の以前のセッションのデータ、（ｃ）母集団データ、のうちの１つまたは複数からのデータが含まれうる。そして、基礎となるビートテンポが基本的状態から選択される。例えば、基礎となるビートテンポは、音楽の再生より前の患者の現在の歩調と一致するよう選択することができる。あるいは、基礎となるビートテンポは、患者の現在の歩調の分数または倍数として選択することができる。別の選択肢として、基礎となるテンポは、同じ患者の以前のセッションで用いられた基礎となるビートテンポと一致するように選択することができる。さらに別の選択肢として、基礎となるビートテンポは、類似した身体状態を有する他の患者で使用された基礎となるビートテンポに基づいて選択することができる。最後に、基礎となるビートテンポは、上述したデータのいずれかの組み合わせに基づいて選択することができる。また、目標ビートテンポをこのデータから決定することもできる。例えば、目標ビートテンポは、他の同様の状況に置かれた患者が示した改善を参考にして、基礎となるビートテンポにおける増加率として選択してもよい。テンポは、音楽におけるビートの頻度を指すと理解される。
【0100】
ステップ１８０６において、携帯型機器２２０から音楽供給装置２３０（例えば、イヤホン、ヘッドフォン、またはスピーカー）で患者へ与えられる音楽が基礎となるテンポ、または基礎となるテンポをさらに分割したテンポで開始される。患者に基礎となるテンポで音楽を供給するために、一定の基礎となるテンポを有する音楽がデータベースから選択される、あるいは既存の音楽が一定のテンポのビート信号を提供するために修正される、例えば選択的に加速または減速される。
【0101】
ステップ１８０８において、患者は音楽のビートを聴くよう指示される。ステップ１８１０において、患者は、基礎となるビートテンポで歩くよう指示され、任意選択で左足および右足についてのキューを受け取る。患者は、各ステップが音楽のビートに精密に一致するように、例えば、ビートテンポに「合わせて」歩くよう指示される。ステップ１８０６、１８０８、および１８１０は療法士によって開始されてもよい、または携帯型機器２２０上で音声または視覚的な指示によって開始されてもよい。
【0102】
ステップ１８１２において、患者に取り付けられたセンサ２００、２０６、２０８が、患者の運動の踵接地圧力、６次元運動、ＥＭＧ活動、ビデオ記録などの患者データを記録するのに用いられる。すべてのセンサデータにはタイムスタンプが付けられる。本明細書で論じられる「ゲート」分析を含むデータ分析が、タイムスタンプが付けられたセンサデータに対して行われる。例えば、センサデータ、例えば踵接地圧力の分析が、各ステップのオンセット時間を判定するために行われる。受信する更なるデータは、患者へ与えられる音楽の各ビート信号と関連付けられた時刻を含む。
【0103】
ステップ１８１４において、予測および分類のために同調モデル（例えば、分析システム１０８のアンサンブル機械学習システム４１０、または収集器１０６上でダウンロードされ携帯型機器２２０上で動作するモデル）への接続が行われる。（そのような接続は以前から存在しうる、またはこの時点で開始されうることが理解される。）そのような接続は、典型的には非常に高速、または即時に起こる。
【0104】
ステップ１８１６において、分析システム１０８で行われる任意選択の同調分析がセンサデータに対して適用される。同調分析は、ビート信号と、患者が踏み出す各ステップのオンセットとの間の遅延の判定を含む。同調分析からの出力として同調の精度が判定され、例えば、同調余地およびＥＰ比に関して上述した、基礎となるテンポと患者のステップとの間の瞬間的な関係の測定が行われる。同調が正確ではない場合、例えば、同調余地が許容範囲内で一定ではない場合、ステップ１８１８において、例えばビートテンポを加速または減速させる、音量を上げる、感覚入力を増やす、メトロノームまたは他の関連する音を重ね合わせる、などの調整が行われる。同調が正確な場合、例えば、同調余地が許容範囲内で一定である場合、ステップ１８２０においてテンポに対して漸進的変更が行われる。例えば、携帯型機器で再生される音楽の基礎となるテンポは、目標テンポへ向けて、例えば５％だけ上げられる。
【0105】
ステップ１８２２において、予測および分類のために同調モデルへの接続が行われる。（そのような接続は以前から存在しうる、またはこの時点で開始されうることが理解される。）ステップ１８２４において、任意選択の対称性分析がセンサデータに対して適用される。対称性分析の出力として、患者の歩行の対称性、例えば、ストライド長、速度、立脚期、遊脚期などでの患者の左足の動きが患者の右脚の動きとどれだけ精密に一致するか、に関して判定が行われる。ステップが対称的ではない場合、例えば、閾値を下回る場合、ステップ１８２６において、携帯型機器により患者へ送信される音楽に対して調整が行われる。第１の修正は、患者の両足のうちの一方が動いている間に再生される音楽に対して行うことができて、第２の修正は、患者の両足のうち他方が動いている間に再生される音楽に対して行うことができる。例えば、マイナーコード（または、高められた音量、感覚入力、テンポの変化、もしくは音／メトロノームの重ね合わせ）を一方の側、例えば患側で再生して、メジャーコードを他方の側、例えば患側でない方で再生することができる。機械学習システム４１０は、例えば非対称性を示す動きを分析することで、対称性問題へと通じる「指紋」に基づいて対称性問題がいつ発生しようとしているかを予め予測する。非対称性は、誰かの通常の歩行パラメータをその背景と比較することで判定することができて、その側が他方の側と比較してどれだけ影響を受けているかを判定することができる。
【0106】
ステップ１８２８において、予測および分類のために同調モデルへの接続が行われる。（そのような接続は以前から存在しうる、またはこの時点で開始されうることが理解される。）ステップ１８３０において、平衡中心、例えば、患者が身を乗り出しているかどうか、の任意選択での分析がセンサデータに対して行われる。分析は、複数の足センサの出力、およびビデオ出力を組み合わせることで行うことができる。平衡中心分析からの出力として、患者が身を乗り出しているかどうかに関して判定が行われる。患者が身を乗り出している場合、ステップ１８３２において、患者への真っすぐ立つようにとのキューが出され、療法士により、または携帯型機器上での音声または視覚的な指示により提供される。
【0107】
ステップ１８３４において、予測および分類のために同調モデルへの接続が行われる。（そのような接続は以前から存在しうる、またはこの時点で開始されうることが理解される。）ステップ１８３６において開始分析がセンサデータへ適用され、例えば、患者が歩行を開始するのにためらいを示す、または困難であることを示す。開始分析からの出力として、患者が開始することに問題を示しているどうかに関して判定が行われる。患者が開始することに問題を示している場合、例えば閾値を下回る場合、触覚フィードバックを患者へ与えることができて、この触覚フィードバックにはビートテンポでのカウントダウン、またはステップ１８３８での曲の開始よりも前でのカウントダウンが含まれうる。
【0108】
ステップ１８４０において、患者が補助器具、例えば、杖、松葉づえ、歩行器などを使っているかどうかが任意選択で判定される。一部の実施形態では、携帯型機器２２０は、患者または療法士が補助器具の使用に関する情報を入力するためのユーザインタフェースを提供する。杖が存在する場合、分析は３つの拍子、例えば、杖、右足、左足へと変更され、ステップ１８４２において「左足」、「右足」、および「杖」によりキュー付けが行われて、療法士により、または携帯型機器上での音声または視覚的な指示により提供される。
【0109】
ステップ１８４４において、予測および分類のために同調モデルへの接続が行われる。（そのような接続は以前から存在しうる、またはこの時点で開始されうることが理解される。）任意選択での同調分析１８４６が、おおむねステップ１８１６で上述したようにセンサデータへ適用されるが、以下に記載される差異がある。例えば、同調は、そのセッションのより前の時点の以前の同調データ、患者との以前のセッションの以前の同調データ、または他の患者の同調に関連するデータと比較することができる。同調分析からの出力として、同調の精度、例えば、患者の歩行が基礎となるテンポとどれだけ精密に一致するかが判定される。同調が正確ではない場合、ステップ１８４８において、おおむねステップ１８１８で上述したように調整が行われる。
【0110】
同調が正確な場合、ステップ１８５０において、患者が目標テンポで歩いているかどうかが判定される。目標テンポに到達しない場合、方法は（上述した）ステップ１８２０へ進み、漸進的変更がテンポに対して行われる。例えば、携帯型機器で再生される音楽の基礎となるテンポは、目標テンポへ向けて、例えば５％だけ上げられる、または下げられる。目標テンポに到達した場合、患者はセッションの残りの時間にわたって治療を続けることができる（ステップ１８５２）。ステップ１８５４において、治療セッションではない場合に用いられる所望のテンポの音楽をキュレーションして図２の装置２２０に残すことができる。この音楽コンテンツは、専用の治療セッションの合間に患者により課題／練習として使用される。ステップ８２７において、プログラムは終了する。
【0111】
上述した、図１８に示されるステップは、開示されたものとは異なる順序で行ってもよいことが理解される。例えば、ステップ１８１６、１８２４、１８３０、１８３６、１８４０、１８４６、および１８５０における評価は、同時に行われてもよい。さらに、分析システム１０８への複数の接続（例えば、ステップ１８１４、１８２２、１８２８、１８３４、および１８４４）は、説明された治療セッションを通じて一度だけ行われてもよい。
【0112】
図１９は、無視訓練で有益な手法を示す。無視訓練では、本明細書に記載されるシステムおよび方法は、患者が目標を正確に叩いた場合に触覚／振動フィードバックを与えるために、接続されるハードウェアを使用する。接続されるハードウェアには、装置、ビデオモーションキャプチャシステム、または接続されるベルが含まれる。これらの装置のすべてが記載されるシステムの中へ接続され、タップされると振動して、聴覚的フィードバックを再生するスピーカーを有する。例えば、接続されるベルは、センサ２００と同じ方法でデータ、例えば、患者がベルを叩くことに関するデータをシステムへ提供する。ビデオモーションキャプチャシステムは、ビデオカメラ２０６と同じ方法でビデオデータをシステムへ提供する。無視訓練で重要な入力は、特定の場所への動きの追跡に関する情報である。プログラムは接続されたハードウェアを用いて、患者が目標を正確に叩いた場合に触覚／振動フィードバックを与える。無視訓練に適切な母集団には、空間的無視または片側だけの視覚的無視状態を伴う患者が含まれる。
【0113】
図１９に示される無視訓練のフロー図は、図１８に示される歩行訓練のフローと略同一であるが、以下に記載される差異がある。例えば、基本試験により、患者の状態、および／または以前の試験からの改善が規定される。一部の実施形態では、基本試験には、画面上、例えば、携帯型機器２２０のディスプレイ２２２に左から右へ等間隔に並んだ４つの物体を示すことが含まれる。患者は、ディスプレイ２２２上に表示されているキューにより、または療法士によって言葉で、背景音楽のビートに合わせて物体を叩くよう指示される。歩行訓練と同様に、患者は、背景音楽のビートに合わせてベルを叩くよう指示される。正確に叩くごとにフィードバックが与えられる。基本的情報が収集されたら、左から右へ等間隔に並んだ多数の物体が画面上に表示される。上述したように、患者は背景音楽のビートに合わせて左から右の順番に物体を叩くよう指示される。正確に叩くごとにフィードバックが与えられる。歩行訓練と同様に、分析システム１０８は患者の反応を評価し、反応を分類して、物体を増やす、もしくは減らすように、または、目標テンポに到達するよう音楽のテンポを上げる、もしくは下げるように指示を与える。
【0114】
図２０は、抑揚訓練で有益な手法を示す。抑揚訓練では、本明細書に記載されるシステムおよび方法は、音声処理アルゴリズムを頼りにする。典型的に選ばれるフレーズは、両唇音、喉音、母音のカテゴリの一般的な単語である。ハードウェアは、患者の一方の手に１分あたりのビート数で触覚フィードバックを与えるために、患者に接続される。抑揚訓練で重要な入力は、声の音色、話された単語、および発話のリズムである。抑揚訓練に適切な母集団には、ブローカ失語、表出性失語、非流暢性失語、失行、自閉症スペクトラム障害、およびダウン症を患う患者が含まれる。
【0115】
図２０に示される抑揚訓練のフロー図は、図１８に示される歩行訓練のフローと略同一であるが、以下に記載される差異がある。例えば、タップを促すために、触覚フィードバックが患者の一方の手に与えられる。そして、患者は、ディスプレイ２２２上に表示されているキューにより、または療法士によって言葉で、再生されている音楽を聴くよう指示される。学習する必要がある話されたフレーズが２つの部分に分離されて再生され、２つの部分のうち最初の方は高音に、２つの部分のうち２番目の方は低音とされる。そして、患者は、ディスプレイ２２２上に表示されているキューにより、または療法士によって言葉で、再生されている２つの音の高さを使って装置を用いてそのフレーズを歌うよう指示される。歩行訓練と同様に、分析システム１０８は患者の反応を評価し、音の高さの正確さ、話された単語、患者またはアシスタント／療法士による順位付けの観点から反応を分類して、代替のフレーズを提供するように指示を与えて、反応を目標とする発話パラメータと比較する。
【0116】
図２１は、音楽的刺激訓練で有益な手法を示す。音楽的刺激訓練では、本明細書に記載されるシステムおよび方法は、音声処理アルゴリズムを頼りにする。聞き覚えのある曲は、予期される部分を分離する（期待違反と呼ばれる）アルゴリズムと共に使用される。ハードウェアは患者による歌唱を受け取って処理するスピーカーを備え、一部の実施形態では、療法士が歌唱の正確さに関する入力を手動で与えることができる。重要な入力は、声の音色、話された単語、発話のリズム、および音楽の嗜好に関連する情報である。適切な母集団には、ブローカ失語、非流暢性失語、ＴＢＩ、脳卒中、および原発性進行性失語を患う患者が含まれる。
【0117】
図２１に示される音楽的刺激訓練のフロー図は、図１８に示される歩行訓練のフローと略同一であるが、以下に記載される差異がある。例えば、曲は患者のために再生され、患者は、ディスプレイ２２２上に表示されているキューにより、または療法士によって言葉で、その曲を聴くよう指示される。音楽的キューが曲へ加えられる。その後、予期される場所で単語または音が除外されて、欠落している単語または音を歌うように患者に促すために身振りによる音楽的キューが再生される。歩行訓練と同様に、分析システム１０８は患者の反応を評価し、音の高さの正確さ、話された単語、患者またはアシスタント／療法士による順位付けの観点から反応を分類して、発話を目標とする発話パラメータまで改善するために、曲の更なる部分を再生するように指示を与える。
【0118】
図２２は、粗大運動訓練で有益な手法を示す。粗大運動訓練では、本明細書に記載されるシステムおよび方法は、運動失調、運動の範囲、または開始を助けることを対象としている。運動のより困難な部分は、例えば、旋律の美しいキュー、調和的なキュー、リズミカルなキュー、および／または強さのキューを用いて音楽的に「強勢が付けられて」（ａｓｃｃｅｎｔｅｄ）いる。重要な入力は、接続されたハードウェアまたはビデオカメラシステムを用いたＸ、Ｙ、Ｚ方向のキャプチャにおける動きに関連する情報である。適切な母集団には、神経系の、および整形外科的な強度、持久力、バランス、姿勢、運動範囲、ＴＢＩ、ＳＣＩ、脳卒中、および脳性麻痺を患う患者が含まれる。
【0119】
図２２に示される粗大運動訓練のフロー図は、図１８に示される歩行訓練のフローと略同一であるが、以下に記載される差異がある。歩行訓練と同様に、患者は、音楽的選択の基礎となるビートに合わせて動くようにキューが与えられる。分析システム１０８は患者の反応を評価し、上述したように動きの正確さおよび同調の観点から反応を分類して、再生される音楽のテンポを上げる、または下げるように指示を与える。
【0120】
図２３は、握力訓練で有益な手法を示す。握力訓練では、本明細書に記載されるシステムおよび方法は、把持装置と関連付けられたセンサを頼りにする。ハードウェアは、携帯型機器２２０に関連付けられた、圧力センサを有する把持装置と接続されるスピーカーとを備える。重要な入力は、センサ２００により測定される踵接地圧力と同様の方法で、患者により把持装置へ与えられる圧力である。適切な母集団には、神経系の、および整形外科的な強度、持久力、バランス、姿勢、運動範囲、ＴＢＩ、ＳＣＩ、脳卒中、および脳性麻痺を患う患者が含まれる。
【0121】
図２３に示される握力訓練のフロー図は、図１８に示される歩行訓練のフローと略同一であるが、以下に記載される差異がある。歩行訓練と同様に、患者は、音楽的選択の基礎となるビートに合わせて把持装置へ力を加えるようにキューが与えられる。分析システム１０８は患者の反応を評価し、上述したように動きの正確さおよび同調の観点から反応を分類して、再生される音楽のテンポを上げる、または下げるように指示を与える。
【0122】
図２４は、発話キュー訓練で有益な手法を示す。発話キュー訓練では、本明細書に記載されるシステムおよび方法は、音声処理アルゴリズムを頼りにする。ハードウェアは患者による歌唱を受け取って処理するスピーカーを備えることがあり、一部の実施形態では、療法士が発話の正確さに関する入力を手動で提供することができる。重要な入力は、声の音色、話された単語、発話のリズム、および音楽の嗜好である。適切な母集団には、ロボット、単語の発見、発話の吃音に問題を抱える患者が含まれる。
【0123】
図２４に示される発話キュー訓練のフロー図は、図１８に示される歩行訓練のフローと略同一であるが、以下に記載される差異がある。歩行訓練と同様に、患者は、ディスプレイ２２２上に表示されているキューにより、または療法士によって言葉で、音楽的選択の基礎となるビートに合わせて一音節を発して文を発話するようにキューが与えられる。分析システム１０８は患者の発話を評価し、上述したように発話の正確さおよび同調の観点から反応を分類して、再生される音楽のテンポを上げる、または下げるように指示を与える。
【0124】
図２５は、ごくわずかに意識のある患者の訓練で有益な手法を示す。本明細書に記載されるシステムおよび方法は、患者の両眼が開いている場合は患者が見ている方向、および結果としての患者の脈拍または心拍数を測定するために、３Ｄカメラなどの撮像システムを頼りにする。プログラムは、心拍数、刺激、呼吸数、閉眼、姿勢、および落ち着きのなさについて探索し、これらを最適化する。適切な母集団には、昏睡状態の患者、および意識障害のある患者が含まれる。
【0125】
図２５に示されるごくわずかに意識のある患者の訓練のフロー図は、図１８に示される歩行訓練のフローと略同一であるが、以下に記載される差異がある。歩行訓練と同様に、患者は、患者の呼吸数（ＰＢＲ）で増加していく刺激を与えられる。例えば、患者はまず、ＰＢＲで音楽のコードの刺激を与えられ、患者の両眼が開いているかどうかが観察される。患者の両眼が開いていない場合、ＰＢＲで単純なメロディをハミングすることからＰＢＲで「アーッ」と歌うまで、またＰＢＲで患者の名前を歌う（または、そのような音を録音したものを再生する）まで、刺激が連続的に増やされて、入力毎に患者の両眼が開いているかが確認される。分析システム１０８は患者の眼の追跡を評価し、意識レベルの観点から反応を分類し、刺激を変化させるように指示を与える。
【0126】
図２６～図２８は、注意力訓練で有益な手法を示す。注意力訓練では、本明細書に記載されるシステムおよび方法は閉ループで動作して、患者が注意を持続させ、分割し、入れ替え、選択するのを助ける。どの動きをなすべきかを示唆する視覚的キューは許されない。適切な母集団には、脳腫瘍、多発性硬化症、パーキンソン病、ならびに、神経疾患および神経損傷を患う患者が含まれる。
【0127】
図２６に示される注意力持続訓練のフロー図は、図１８に示される歩行訓練のフローと略同一であるが、以下に記載される差異がある。歩行訓練と同様に、患者は、楽器（例えば、動作する任意の楽器でよく、ドラムスティック、ドラム、キーボード、またはそれぞれの無線接続されるものなど）を与えられて、ディスプレイ２２２上に表示されているキューにより、または療法士によって言葉で、図２６に示されるレベル１からレベル９で規定される音声キューに沿って進行する、または音声キューに対する作業を行うよう指示される。分析システム１０８は患者が作業を正確に完了する能力を評価し、反応を分類して、テンポまたは作業の難易度を変化させる。同様に、図２７は注意入れ替え訓練のフロー図を示し、この訓練ではディスプレイ２２２上に表示されているキューにより、または療法士によって言葉で、左耳と右耳とで交互に起きる音声キューに沿って進行する、または音声キューに対する作業を行うように指示が与えられる。図２８は分割される注意のためのフロー図を示し、この場合は左耳と右耳の両方で音声信号を用いた音声キューに沿って進行する、または音声キューに対する作業を行うように指示が与えられる。
【0128】
図２９に示される器用さの訓練のフロー図は、図１８に示される歩行訓練のフローと略同一であるが、以下に記載される差異がある。器用さの訓練では、患者は、基本的動作および運動情報の範囲を収集するために、ピアノの鍵盤を自分の指で叩くよう指示される。曲が特定の１分あたりのビート数で開始され、患者は基本的な数の指で叩き始める。分析システム１０８は患者が作業を正確に完了する能力を評価し、反応を分類して、テンポまたは作業の難易度を変化させる。
【0129】
図３０に示される口腔運動訓練のフロー図は、図１８に示される歩行訓練のフローと略同一であるが、以下に記載される差異がある。口腔運動訓練では、患者は、２つの音、例えば、「ワーッ」と「アーッ」を交互に出す作業を行うよう指示される。分析システム１０８は患者が作業を正確に完了する能力を評価し、反応を分類して、例えば異なる目標音を与えることで、テンポまたは作業の難易度を変化させる。
【0130】
図３１に示される呼吸訓練のフロー図は、図１８に示される歩行訓練のフローと略同一であるが、以下に記載される差異がある。呼吸訓練では、基本的呼吸数および呼吸の浅さが判定される。音楽が患者の呼吸数で基礎となるテンポで与えられ、患者は、図３１に記載されるレベルの呼吸作業を行うよう指示される。分析システム１０８は患者が作業を正確に完了する能力を評価し、反応を分類して、例えば異なる呼吸パターンを与えることで、テンポまたは作業の難易度を変化させる。
【0131】
本明細書にはさらに、拡張現実（ＡＲ）および拡張された音声（ＡＡ）を用いて運動機能を改善または維持するための次世代の医療用治療システムを支援するための方法、システム、および装置が記載される。本明細書で開示される、拡張された神経学的リハビリテーション、回復、または維持（ＡＮＲ）用のシステムおよび方法の例示の実施形態は、更なるセンサストリームを利用して治療効果を判定し、閉ループの治療アルゴリズムに知らせることで、同調手法に基づき構築される。ＡＮＲシステムおよび方法の実施形態を実現するのに利用することができる、神経学的リハビリテーションのための例示のシステムおよび方法が上で示され、説明されているが、「神経学的リハビリテーションのためのシステムおよび方法」と題され２０１６年４月１４日に出願された米国仮特許出願第６２／３２２，５０４号明細書に基づき、その優先権を主張する、「神経学的リハビリテーションのためのシステムおよび方法」と題され２０１９年１０月２２日に発行された米国特許第１０，４４８，８８８号明細書の継続出願である、ＭｃＣａｒｔｈｙなどに対する、同時係属中で同一出願人による米国特許出願第１６／５６９，３８８号明細書、「神経学的リハビリテーションのためのシステムおよび方法」にも示され、記載されており、これらの特許出願および特許の明細書はそれぞれ、参照によりその全体が本明細書に記載されているかのように本明細書に援用される。
【0132】
１つまたは複数の実施形態によれば、ＡＮＲシステムおよび方法は、特定の人々または物体のＡＲ ３Ｄ動的モデルを提供する方法を含むことができて、この方法には、クラウド上およびローカルのデータベースにクエリを行うことで人々の画像およびビデオ、または画像を得ることが含まれる。また、ＡＮＲシステムおよび方法は、動的モデル、患者または人間、音声コンテンツ、および環境に関するコンテキストを融合する、および／または同期された状態へと同期するよう構成することができて、音楽の能力の神経科学、および視覚的画像がどのように回復に影響を与えるかの神経科学（例えば、ミラーニューロンの使用）を活用して、運動機能を向上させることができる。
【0133】
１つまたは複数の実施形態によれば、ＡＮＲシステムおよび方法は、反復的運動行為に対してＡＡ手法を組み合わせる方法を含む。拡張された音声（ＡＡ）は、現実世界の音を、追加のコンピュータで生成された、感覚入力を強化する音声「層」と組み合わせる。その中心にリズムがある神経科学は、歩行などの反復的運動行為に運動系を関与させるために刺激を使用する。ＡＡを治療プロトコルへ加えることで治療効果が高められ、治療プロトコルへの支持が高くなり、患者に対する状況認識が高められるという形でより高い安全性が提供される。ＡＡを加えるよう構成されている開示される実施形態は、外部環境音入力、録音済みコンテンツ、リズミカルなコンテンツ、音声ガイダンスを含む多くの音声信号をミックスして同期された状態とし、音楽の神経科学を活用することができる。さらに、それは、運動障害または身体障害を抱える患者のために、アルゴリズムで生成された音楽を［０１８４］で詳述される、内在するリズミカルなキューと組み合わせる能力を備えうる。これは、この生成リズムを患者のリアルタイム生体データからの入力と融合して対話式のフィードバック状態とすることで行うことができる。神経学的リハビリテーションに関連して使用するためにアルゴリズムで聴覚刺激を生成する例示のシステムおよび方法は、米国特許法第１１９条（ｅ）の下で２０１７年７月２４日に出願された米国仮特許出願第６２／５３６，２６４号明細書の優先権の恩恵を主張する、「反復動作運動用の音楽の改良」と題され２０１８年７月２４日に出願された米国特許出願第１６／０４４，２４０号明細書（現在では、２０２０年２月１１日に発行された米国特許第１０，５５６，０８７号）の継続出願である、ＭｃＣａｒｔｈｙなどに対する、同時係属中で同一出願人による、「反復動作運動用の音楽の改良」と題され２０２０年１月１５日に出願された米国特許出願第１６／７４３，９４６号明細書に示され、記載されており、これらの特許出願および特許の明細書はそれぞれ、参照によりその全体が本明細書に記載されているかのように本明細書に援用される。
【0134】
ミラーニューロンの神経可塑性、同調、および科学は、開示される実施形態を裏付ける、基礎的な科学的構成要素である。同調は、外部のリズミカルな刺激に応答して脳の運動中枢が活性化することに対する用語である。音声－運動神経路が、運動に関与する脳の一部である網様体脊髄路内に存在することが研究で示されている。これらの経路を介した運動のプライミングおよびタイミングにより、運動パターンを引き起こすために聴覚系と結合する運動系の能力が示されている（ＲｏｓｓｉｇｎｏｌとＭｅｌｖｉｌｌｅ、１９７６年）。同調プロセスは、歩行速度を効果的に上げること（Ｃｈａ、２０１４年）、歩行の変動を減少させること（Ｗｒｉｇｈｔ、２０１６年）、および転倒危険性を下げること（Ｔｒｏｍｂｅｔｔｉ、２０１１年）が示されている。神経可塑性は、以前から存在する神経系の接続を強化することで、時間と共に個人が新しい技能を獲得するのを可能とする、脳の能力を指す。音楽は脳の特定の運動領において変化を手助けすることが研究で立証されており、これは、音楽は神経可塑性を促進させられることを示している（Ｍｏｏｒｅなど、２０１７年）。ミラーニューロンは、あなたが動作を行った場合、および別の人が動作を行っているのをあなたが観察した場合の両方で発火する。したがって、別の人が動作を行っているのをあなたが見た場合、あなたの脳は、その活動を行っているのがあなたであるかのように反応する。これにより、私たちは模倣することで振る舞いを学習することができる。これは開示される実施形態の文脈において重要である。なぜなら、患者が拡張現実での人間のシミュレーションを観察している際に、患者はミラーニューロンを用いてそれらの動作を模倣することができるからである。
【0135】
１つまたは複数の実施形態によれば、ＡＮＲシステムおよび方法は、ＡＮＲシステムへの入力として受信した患者または療法士の例外条件に応答して、指定されたサイズより小さい、もしくは大きい人々もしくは物体を画像／ビデオから除去、および／または、画像／ビデオへ追加するように画像／ビデオを処理するよう構成される。そのような例外は、シーンのコンプレクシティを低減するための指示や、シーンのコンプレクシティを増やす人々／物体でありうる遮蔽を取り込む療法士の指示などの患者の反応でありうる。実施形態は、セッションデータそのものに加えて、患者または療法士のすべての例外条件のすべてのデータの記録に対応することができる。
【0136】
１つまたは複数の実施形態によれば、ＡＮＲシステムおよび方法は、このシステムを用いて療法士を離れた場所にいる患者につなぐことを可能とするテレプレゼンス方式を含む。テレプレゼンス方式は、患者と療法士が同じ場所にいる場合に体験するすべての局所的機能に完全に対応することに加えて、人々／物体のＡＲ ３Ｄ動的モデルに対する患者の生体力学的動作の追跡を含む。
【0137】
ＡＲ ３Ｄ動的モデルは、ミラーニューロンの神経可塑性、同調、および科学の基本プリンシパルに基づいてアニメ化されたＡＲ／ＶＲの視覚的シーンの患者への提示を生成して、臨床目標または訓練目標に向けた成果を容易にするための、ＡＮＲシステムおよび方法のソフトウェアベースのアルゴリズムプロセスである。テレプレゼンス方式は、本発明を用いて、療法士と離れた場所にいる患者の間の対話式のビデオリンクを作動させる能力を提供するよう構成される。テレプレゼンス方式は、本発明を用いて、離れた場所にいる患者からの画像／ビデオを投影して、ＡＲ ３Ｄ動的モデルで患者の相対的な位置を示すことに対応する。また、テレプレゼンス方式は、療法士がＡＲモデルをリアルタイムで調整して（空間的位置、またはどの項目が利用可能であるか）、セッションへの修正を可能とする能力も提供することができる。テレプレゼンス方式は、療法士が患者をモデルと比べて診ることも可能とする。
【0138】
図３２は、閉ループフィードバックを使用して人を測定、分析し、人に対して作用して、臨床目標または訓練目標に向けた成果を容易にする例示のＡＮＲシステム３２００の主な構成要素の概念的概要を描写している。ＡＮＲシステム３２００は、上述したシステム１００の様々なハードウェア構成要素および／またはソフトウェア構成要素を用いて実現可能であることを理解されたい。示されるように、ＡＮＲシステムは、歩行パラメータ、環境、コンテキスト／ユーザの意図（過去の実行を含む）、生理学的パラメータ、および結果に対するリアルタイムフィードバック（例えば、閉ループでのリアルタイムの意思決定）に関連する入力を測定または受信する。これらの入力のうちの１つ、または組み合わせを、これらの情報の分析、およびこれらの情報への作用を制御する臨床的思考アルゴリズムモジュール（ＣＴＡ）３２０８へと送ることができる。一部の実施形態では、リアルタイムフィードバックの例は、ユーザの歩行の尺度の測定された品質（例えば、対称性、安定性、歩行サイクル時間の分散）がモデル化された安全性閾値を超えたとＣＴＡ３２０８が判定することで、これにより新しいキューが付けられた応答がもたらされる。そのようなキューが付けられた応答は、視覚的かつ音声的で、例えば、メトロノーム音声層を追加することで音楽のビートの突出を増幅して、モデル化するＡＲシーンを修正する、またはユーザをより安全な歩行速度および運動の挙動へと向かわせる。
【0139】
ＣＴＡモジュール３２０８において、ＡＮＲシステムにより行われる動作は、入力の分析に基づいて規定される。動作は、音楽（または他の構成要素）、リズム、音の可聴化、話された単語、拡張現実、仮想現実、拡張された音声、または触覚フィードバックを含む、各種の刺激の形態で患者へ出力することができる。図３２に示されるように、様々な入力や結果などに関連して批判的思考アルゴリズムによりなされる決定は、患者への出力を動的に生成／修正するようプログラムされたＡＲ／ＡＡ出力モデル化モジュール３２１０へ提供される。出力は、視覚的出力装置および／もしくは音声出力装置、ならびに／または触覚フィードバック装置などの１つまたは複数の出力装置３２２０を介して患者へ与えられる。例えば、ＡＲ視覚コンテンツは、患者が装着しているＡＲグラス３２２２へ出力することができる。拡張された音声コンテンツは、音声スピーカーまたはヘッドフォン３２２５を介して患者へ与えることができる。理解されるように、他の適切な視覚的表示装置または音声表示装置を、開示される実施形態の範囲を逸脱することなく使用することができる。さらに、システムの様々な要素が図３２に別々に示されているが、システムの様々な態様の特徴および機能は組み合わせられることを理解されたい。
【0140】
この医療／治療システムにおける臨床的思考アルゴリズムモジュール３２０８は、上肢、下肢、動揺、姿勢安定性、下垂足、動的安定性、呼吸、口の動き、呼吸、持久力、心拍数訓練、呼吸頻度、オプティカル・フロー、境界支持訓練、戦略訓練（くるぶし、膝、臀部）、アトラクター結合、筋発火、訓練最適化、および歩行を含むがこれらに限定されない、運動機能の回復、維持、または強化を重視する批判的思考アルゴリズムを実行するよう構成することができる。また、これらのＣＴＡのうちの１つまたは複数は、類似した目標を共有する他の介入と同期させて、または組み合わせて実装することもできる。例として、機能的電気刺激、脳深部刺激、経皮的電気神経刺激（ＴＥＮＳ）、ガンマ周波数音声同調（２０Ｈｚ～５０Ｈｚ）、または他の電気的刺激システムと併用してＣＴＡを実装することも含まれる。さらに、投薬およびＣＴＡの操作を痙縮抑制薬と組み合わせることもできる、または投薬を神経毒の注入と併用することもできる。例えば、ＣＴＡは、こうした介入がその効果が最大となることが示されている時間帯に適用する、もしくは開始することができる、または、運動系のプライミングの方法としてこうした介入の効果が最大となる時点に到達する前に使用することもできる。
【0141】
ＡＡＮＲシステム入力
ＡＮＲシステム３２００への入力は、システムが測定、分析を行い、連続ループで作動して、臨床目標または訓練目標に向けた成果を容易にできるようにする上で重要である。
ＡＮＲシステム３２００への入力は、システムが測定、分析を行い、連続ループで作動して、臨床目標または訓練目標に向けた成果を容易にできるようにする上で重要である。
【0142】
システムで入力を受信することには、センサを用いて人の運動を測定して運動の生体力学的パラメータを判定する（例えば、時間的、空間的、および左右の比較）ことを含みうる。こうしたモーションセンサは、体のどこにでも設置することができて、一つのセンサまたは多くのセンサとすることもできる。他の入力パラメータを測定するのに、他の種類のセンサを使うこともできて、これには呼吸数、心拍数、酸素レベル、体温、脳の自発的な電気的活動を記録する脳波図（ＥＥＧ）、心臓の電気的活動を測定する心電図（ＥＣＧまたはＥＫＧ）、骨格筋により生み出される電気的活動を評価および記録する筋電図（ＥＭＧ）、多くの場合で皮膚の光吸収の変化を測定するパルスオキシメータを用いて組織の微小血管床における血液量の変化を検出する光電式指尖容積脈波（ＰＰＧ）、光学的慣性計測装置、ビデオカメラ、マイク、加速度計、ジャイロスコープ、赤外線、超音波、レーダー、ＲＦ動き検出、ＧＰＳ、気圧計、ＲＦＩＤ、レーダー、湿度、または生理学的パラメータもしくは生体力学的パラメータを検出する他のセンサを含みうる。例えば、図３２に示される例示のＡＮＲシステム３２００では、歩行パラメータは１つまたは複数のセンサ３２５２、例えば、ＩＭＵ、足蹠センサ、スマートフォンセンサ（例えば加速度計）、環境センサなどを用いて測定することができる。さらに、生理学的パラメータは、１つまたは複数のセンサ３２５４、例えば、ＰＰＧ、ＥＭＧ／ＥＫＧ、呼吸数センサなどを用いて測定することができる。
【0143】
さらに、所望する結果、使用環境、過去のセッションのデータ、他の技術、および他の環境条件に関するコンテキスト情報をＣＴＡモジュールへの入力として受信してＣＴＡの応答を調整することができる。例えば、図３２に示されるように、コンテキスト情報３２５８および環境入力３２５６情報は、ＣＴＡ３２０８の操作をさらに知らせる入力として受信することができる。コンテキスト情報を用いる例は、ユーザの歩行パターンについての過去からの情報を人工知能（ＡＩ）または機械学習（ＭＬ）システムと併用して、患者により個人に合わせた臨床目標および動作を与えることができることである。これらの目標は、１分あたりのステップ数、歩行速度、心拍数の変動、酸素消費量（ＶＯ２ ｍａｘ）、呼吸数、セッションの長さ、非対称性、変動性、歩いた距離、または所望の心拍数に対する制限等の目標パラメータを修正することもできる。
【0144】
さらに、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ （ＢＬＥ）ビーコン、または、無線三角測量や到来角などの他の無線近接技術を用いて環境情報を検出し、ＡＲ ３Ｄ動的モデルに対する患者の視野の中で、検出された場所に応じて人々／物体が出現する、および／または消えることを無線式ロケーショントリガーで容易にすることができる。一部の実施形態では、ＡＮＲシステムにより出力されるＡＲ ３Ｄ動的モデルは、療法士および／またはビーコントリガーにより制御して、患者に対する誘導要件を変える、または維持することができる。これらのトリガーは、無線式ビーコントリガーに加えて追加のトリガーを提供するために、上述した歩行または生理学的データと共に使用することもできる。例えば、ＩＭＵ製品からの歩行データフィードバックにより、ＡＲ ３Ｄ動的モデルのソフトウェアプロセスにおいて変化を生じさせる能力をＡＮＲシステム３２００に提供する歩行フィードバックループが可能となる。
【0145】
Ａ臨床的思考アルゴリズム
１つまたは複数の実施形態によれば、ＣＴＡモジュール３２０８は、適用される治療を制御して臨床目標または訓練目標に向けた成果を容易にするよう構成されている、臨床的思考アルゴリズムを実行する。臨床目標には図１８から図３１に関連して記載されたものなどの項目が含まれうるが、更なる例として、アルツハイマー病、認知症、双極性障害、および統合失調症における動揺への介入、ならびに訓練目標／身体活動目標が挙げられる。本章では、ＣＴＡにより決定された適切なリハビリテーション応答を伝えるのに使用できる様々な非限定の例示の手法、例えば、リズミカルなテンポや同期されたＡＲ視覚的シーンを調節すること、が論じられる。こうした手法のそれぞれは、ＣＴＡ単体を用いて、または互いに組み合わせて実装することもできる。１つまたは複数の実施形態では、システム３２００は反復的運動行為に対してはＣＴＡを同調原理と組み合わせるよう構成することができて、他の場合は、他の目標へ向けてこうした手法を互いに組み合わせることができる。
１つまたは複数の実施形態によれば、ＣＴＡモジュール３２０８は、適用される治療を制御して臨床目標または訓練目標に向けた成果を容易にするよう構成されている、臨床的思考アルゴリズムを実行する。臨床目標には図１８から図３１に関連して記載されたものなどの項目が含まれうるが、更なる例として、アルツハイマー病、認知症、双極性障害、および統合失調症における動揺への介入、ならびに訓練目標／身体活動目標が挙げられる。本章では、ＣＴＡにより決定された適切なリハビリテーション応答を伝えるのに使用できる様々な非限定の例示の手法、例えば、リズミカルなテンポや同期されたＡＲ視覚的シーンを調節すること、が論じられる。こうした手法のそれぞれは、ＣＴＡ単体を用いて、または互いに組み合わせて実装することもできる。１つまたは複数の実施形態では、システム３２００は反復的運動行為に対してはＣＴＡを同調原理と組み合わせるよう構成することができて、他の場合は、他の目標へ向けてこうした手法を互いに組み合わせることができる。
【0146】
例として、制限しないが、ＡＮＲシステム３２００のＣＴＡモジュール３２０８は、生体力学データ、生理学的データ、およびコンテキストの組み合わせを利用して、ＡＲ／ＡＡ出力インタフェースを介して出力された仮想トレッドミルを作成するよう構成することができる。トレッドミルが誰かのために物理的ベルトの動きと同じペースを保っている間、仮想トレッドミルは同調原理に従いＣＴＡを用いて動的に調整されて、他の運動介入と同様に人の歩行または運動のペースを独立して調節する。しかしながら、個人を前述した生体力学的目標へ向かわせるために、リズミカルな刺激を使用するのに加えて、または代えて、仮想トレッドミルを患者の同調に基づいて生成し、上で目標パラメータとしてリストに記載されたものなどの目標パラメータへ向けて動的に制御することができる。
【0147】
目標パラメータは、臨床医、ユーザ、履歴データ、もしくは基本的状態からの入力に基づいて、または臨床的に意味のある度合いに向けて、設定することもできる。更なる目標パラメータは、心疾患、喘息、ＣＯＰＤ、転倒防止、筋骨格疾患、変形性関節症、一般的な老化などの特定の状態に特有の、運動の長さ、期間、および強度に対する勧告により規定することができる、または勧告に従うことができる。
【0148】
本明細書にはさらに、ＡＮＲシステム３２００の例示の実施形態が記載され、この実施形態では、ＣＴＡモジュール３２０８は、生体力学データ、生理学的データ、およびコンテキストを利用して、仮想トレッドミルとＡＲ／ＡＡ出力インタフェース３２２０を介して出力されたリズミカルな聴覚刺激の形態で、歩行訓練治療を提供するよう構成される。
【0149】
図３７は、ＡＮＲシステム３２００を用いて患者へ歩行訓練治療を提供する例示のルーチン３７５０を示すプロセスフロー図である。図３８は、開示される主題の例示の実施形態に係る、歩行訓練ルーチン３７５０を実行するＡＮＲシステム３２００の態様を概念的に示す、システムおよびプロセスを混合した図である。示されるように、センサ３２５２、具体的には足に取り付けられたＩＭＵは、ＣＴＡモジュール３２０８へ提供される歩行パラメータに関連するセンサデータをキャプチャする。さらに、音声エンジンを備えるＡＡ／ＡＲモデル化要素３２１０はＣＴＡからの入力を受信し、リズミカルなキューが付けられた音楽コンテンツ、対話式の音声ガイダンス、空間的な音声効果処理のうちの１つまたは複数を含む、キューが付けられた音声アンサンブルを生成するよう構成される。同様に、ＡＲ／ＶＲモデル化エンジン（ＡＲ ３Ｄ動的モデルとも呼ばれる）を備えるＡＡ／ＡＲモデル化要素３２１０が、ＣＴＡからの入力を受信するのが示されており、仮想のＡＲ登場人物および物体（例えば、仮想の歩いている人）、背景運動アニメーション（例えば、仮想のトレッドミル、ステップ／足跡、およびアニメーション）、ならびに、シーンの照明および陰影のうちの１つまたは複数を含む、キューが付けられた視覚的アンサンブルを生成するよう構成される。
【0150】
図３９は、ＡＮＲシステム３２００の例示の音声出力装置３２２５および拡張音声生成要素をより詳細に概念的に示す、システムおよびプロセスを混合した図である。一実施形態では、図３９に示されるように、ＡＡ装置は、例えばステレオマイクを用いて環境音をキャプチャすることができる。また、ＡＡ装置はステレオトランスデューサを用いて音声出力を生成することもできる。また、ＡＡ装置は頭部装着式ＩＭＵも備えうる。また、理解されるように、ＡＡ装置はＡＡ／ＡＲモジュール３２１０から受信した拡張された音声コンテンツを単独で、または環境音などの他のコンテンツと共に受信、処理、および出力する音声信号処理用のハードウェア構成要素およびソフトウェア構成要素も備えうる。示されるように、ＣＴＡモジュール３２０８は足に取り付けられたＩＭＵおよび頭部装着式ＩＭＵを含むセンサから受信したものを含む歩行パラメータを受信する。さらに、一実施形態では、ＣＴＡはＰＰＧセンサなどの他のセンサ装置からの生理学的パラメータに関連するデータを受信する。
【0151】
図３７に戻ると、ステップ３７００において、ＡＮＲシステム３２００が校正を行って、ストライド長、速度、歩行サイクル時間、対称性などの予備的歩行データを収集する際に、ＡＲ／ＡＡ出力装置３２２０およびＩＭＵセンサ３２５２を装着した患者が歩き始める。ステップ３７０１において、ＣＴＡモジュール３２０８は音楽再生および表示される仮想ＡＲシーンの両方で基礎となるリズミカルなテンポを決定する。例えば、基礎となるリズミカルなテンポは、図１８に関連して説明されたように、ＣＴＡにより決定することができる。
【0152】
ユーザの歩行サイクル時間を入力として、ステップ３７０２において、音声エンジン（すなわち、ＡＲ／ＡＡモデル化モジュール３２１０の音声モデル化要素）が、ビートの突出を増幅するために、メトロノーム音などの補助的なリズミカルなキューと共にテンポが調整された対応する音楽を生成する。
【0153】
ステップ３７０３において、視覚的ＡＲエンジン（すなわち、ＡＲ／ＡＡモデル化モジュール３２１０の視覚的モデル化要素）が、ビデオゲーム業界で理解されるもののような、動く仮想シーンを生成する。より詳細には、一実施形態では、仮想シーンは、視覚的シーンの要素を音楽およびリズムテンポと同期するために、ＣＴＡの制御下で提示されて音声エンジンと共通の基準タイミングを共有する視覚的要素を含む。本明細書に記載されるＡＲシーンは仮想トレッドミルまたは仮想の人や足跡を含むが、ＡＲシーンは、仮想トレッドミル、仮想の歩いている人、仮想の群衆や動的な仮想シーンなどの、本明細書で記載される様々な例のうちの任意の１つまたは複数とすることもできる。
【0154】
ステップ３７０４および３７０５において、音楽／リズムおよび視覚コンテンツがイヤフォン３２２５を備える軽量ヘッドアップディスプレイ（例えば、ＡＲゴーグル３２２２）などのＡＲ／ＡＡ装置３２２０を用いて患者へ供給される。ＣＴＡの制御下で、患者はステップ３７０６および３７０７において、音声エンジンにより生成された、画面に映らない音声キューにより、治療に関する指示を受ける。これには、患者が視覚的シーンおよび音声体験に慣れて練習を行うようになるための歩行前訓練の予告を含みうる。
【0155】
図４０は、患者が同調を行う、提示される例示のＡＲ仮想シーン４０１０を示す。示されるように、シーンは、患者の「前方を」歩き、そのステップおよび歩行運動が音楽テンポに同期される別の人の動く３Ｄ画像を含みうる。より詳細には、一実施形態では、ＡＲ登場人物はＣＴＡおよび音声エンジンにより生成された音声コンテンツの基礎となるビートテンポと同じテンポに合わせて歩く。この例では、患者の目標は、その歩みが音声とリズミカルに、かつ登場人物と視覚的に一致することでありうる。さらに、図４０に示されるように、ＡＲシーンは左足、右足を示すＬおよびＲなどの更なるキューを有する複数の足跡を含みうる。
【0156】
足跡を含むシーンは、規定された速度で患者へ向かって仮想的に動いていることがあり、一方で、仮想の登場人物は患者から離れる方向へ患者の前方を歩いている。一実施形態では、シーンは、歩行サイクル時間に基づいて動いていることがあり、ＧＣＴ（右足）／２＊６０＝ＣＴＡにより決定された音楽テンポ、である。さらに、ＡＲシーンに関連して生成される更なるキューには、視覚的キューを補強するリズミカルな音声キューを含みうる。例えば、一つの効果的な補強方法には、ＡＡシステム３２１０がリズムと同期した仮想登場人物の足音の音を生成すること、共通のビートに合わせた集団行進をシミュレーションすることを含みうる。リズミカルな音声刺激を伴う視覚的要素の動作の時間を調整することに加えて、視覚刺激に基づいて生成されるリズミカルな音声要素を患者に与えることで、システムはさらに、同調およびミラーニューロンの基本的治療構想の中での好循環を強固にする。
【0157】
更なる例として、図４１は、患者が同調を行う、提示される例示のＡＲ仮想シーン４１１０を示す。図４１に示されるように、仮想トレッドミルを生成して、目標パラメータとして上でリストに記載されたものなどの目標パラメータに対する患者の同調に基づいて、動的に制御することができる。この例では、生成されたＡＲトレッドミルはトレッドミル表面４１１５の運動をアニメ化しており、聴覚刺激のためにＣＴＡにより規定されるものと同じテンポで仮想のステップを生成する。さらに、仮想トレッドミルの３Ｄアニメーションは、ＣＴＡの制御下で生成されたリズムへ同調しながら、同時に患者が視覚的目標として使用することのできる視覚的に強調表示されたステップまたはタイルを含みうる。したがって、この例では、患者の目標は、その歩みが音声とリズミカルに、かつアニメ化された目標ステップと視覚的に一致することでありうる。図４１にさらに示されるように、アニメ化された足跡４１２０は、患者が後ろ向き歩行訓練運動を行っている場合には逆方向になりうる方向矢印により示される患者へ向かう方向へ動いている仮想トレッドミル４１１５の表面に示すことができる。さらに、目標ステップ４１２５Ｌ（左足のステップ）、および／または４１２５Ｒ（右足のステップ）を強調表示するアニメーションはそれぞれ、ユーザに対応する足（例えば、左または右）で歩くよう促すために、ＣＴＡのリズムと同期して強調表示される。さらに、本明細書にさらに記載されるように、図４０～図４１で示されるものなどの仮想シーンは、患者の同調余地（ＥＰ）および音声刺激への対応する変更に基づいて動的に調整することができる。仮想シーンに対する他の調整には、異なる歩行シナリオ、天気、表面、照明、および傾斜をシミュレーションするために仮想背景環境を変更することを含みうる。
【0158】
ここで図３７に戻ると、患者が歩き始めたら、ステップ３７０８において、患者の同調レベルを評価する際に用いるリアルタイムデータを生体力学センサ（例えば、センサ３２５２）が測定する。ステップ３７０９において、（例えば、図１８で説明された）同調余地がＣＴＡモジュール３２０８により決定され、どのように訓練セッションの目標が達成されるべきかを決定するために使用される。本開示のこれまでの実施形態で記載されたように、同調余地は、リズミカルな音声刺激および視覚的シーンを修正する基礎とすることができて、この修正はステップ３７１０において行われる。例えば、ＣＴＡは、患者の歩行サイクル時間の入力されるデータの履歴を、音声装置により患者へ供給されるビートのリズムの間隔と比較して分析する。同調余地に基づいて音声刺激を修正する例示の手法は、同様に上述された。一例では、ある期間にわたる患者のステップに対して算出されたＥＰ値が規定されたＥＰ値の許容範囲内にない場合、および／または充分に一貫していない場合、ＣＴＡモジュールはＡＡ／ＡＲモデル化モジュールにＲＡＳのテンポを調整して（例えば、下げて）、それに応じてＡＲシーンの動作速度をＲＡＳと同期するように調整するよう指示することができる。更なる例では、充分なステップ時間がビート時間と同調している場合、患者はＣＴＡにより同調していると考えられる。
【0159】
同調したら、ステップ３７１１において、ＣＴＡは患者が目標へ到達したかどうかを評価する。目標に到達していない場合は、１つまたは複数の目標パラメータをステップ３７１２において調整することができる。例えば、一例では、ＣＴＡはＲＡＳテンポおよび関連するＡＲシーン速度を目標テンポパラメータ（例えば、訓練目標／治療目標）と比較し、リズミカルなテンポおよび／またはシーン動作速度がこの比較を考慮して変更される。ＣＴＡモジュール３２０８が同調余地に基づいてリズミカルな聴覚刺激を調整することができる例示の方法が、例えば図１８に関連して示され、上述されている。
【0160】
例えば、患者が自分の訓練速度目標に到達していない場合、目標パラメータを修正することは、ステップ３７１２において音楽テンポを上げる、または下げることを含みうる。こうすることで、ＲＡＳの作用機序を用いて、患者により速く、またはより遅く歩くよう促す。あるいは、別の訓練目標は、患者のストライド長を延ばすことでありえて、これは画像の動作速度パラメータを遅くすることで実現することができる。視覚的シーンを修正することで、患者は、ミラーリングの作用機序を用いて提示された視覚的な例をモデル化するよう促される。
【0161】
音声出力および視覚的出力は互いに刺激を補強することを理解するのは重要であり、視覚的シーンはリズミカルな刺激に同期するように一緒に重ねられる。選択されたプログラム（例えば、ＣＴＡ）に応じて、ＣＴＡモジュール３２０８は、治療目標を達成するように、視覚的シーンおよびリズミカルなテンポを動的に調整する。
【0162】
前述の例は、ＡＮＲシステム３２００がＣＴＡモジュール３２０８を用いて、歩行訓練を促進するために、音楽テンポとＡＲシーンの同期を生体力学的センサ入力に基づいてどのように制御できるかを示している。この実施形態の原理は、多くの病気の兆候およびリハビリテーションのシナリオへ適用可能であることを理解されたい。
【0163】
例示の構成では、仮想トレッドミルをＡＮＲシステム３２００により生成して、酸素消費量の目標パラメータへ向けて患者の歩行を調節することができる。この例では、仮想トレッドミルが生成されて、同調を用いて酸素消費量または効率目標パラメータへ向けて歩行速度を調節するように制御される。図３３は、Ｖ０２ ｍａｘを目標パラメータとして、テンポ変更を暫定目標として用い、ｖ０２ ｍａｘに関連する生理学的変化を促すのに同調を用いて、ＡＮＲシステム３２００を使用して行われるリアルタイムセッションを図により可視化したものである。図３３は、このプロセスがリアルタイムでどのように動作するのかの例を示す。より詳細には、図３３は、セッション中にＡＮＲシステムによりリアルタイムで測定、算出、および／または調整される、様々な顕著なデータ点およびパラメータ値を示す、グラフィカルユーザインタフェースである。示されるように、インタフェースの一番上は、セッションを通してリアルタイムで各ステップに対して算出される同調余地の値のグラフを示す。具体的には、一番上の棒状のものは、ステップごとに算出された個々のＥＰを示し、この例では、これはステップ時間間隔とビート時間間隔の間の位相相関である。ＥＰ＝１の周囲の中央のゾ－ンは、ビートに合わせて充分に同調されたステップ、つまり、規定された範囲内のＥＰ値を有するステップを表す。下にある次のウインドウは、パラメータが安全な範囲内にあるかどうかを示す、ステータスバーを提供する。下にある次のウインドウは、とりわけ、測定されたパラメータ、同調、他の前述した入力、およびＣＴＡへのフィードバックに基づいて、ＣＴＡにより駆動されるリアルタイム応答を示す。具体的には、円形アイコンはアルゴリズム応答を表し、これにはテンポ変更とリズミカルな刺激のレベル（例えば音量）の変更の両方が含まれる。その下の棒状のものはテンポのみを示し、テンポはひとりでに変わる。下にある次のウインドウは、ＣＴＡ応答に従って経時的に患者へ与えられるリズミカルな刺激のリアルタイムのテンポを示す。一番下のウインドウは、経時的に測定される酸素消費量と目標パラメータとを示す。図３３には示されていないが、リズミカルな刺激に同期するように動かされてリズミカルな刺激のリアルタイムテンポに対する調整と同期するように動的に調整される視覚的要素を有する拡張現実シーン（例えば、仮想トレッドミル）が患者に提示されうることが理解される。ＡＡ／ＶＲモジュール３２１０が視覚的アニメーションの速度および音声と同期するようにどのように構成することができるかの例には、表示される反復運動の速度と音声キューのテンポの間の関係を規定することが含まれうる。例えば、ビートテンポに基づいてトレッドミルの速度とステップの間隔を算出することで、音声要素と視覚的要素の間の関係が規定される。さらに、トレッドミルの基準位置、足跡のタイミング、およびビートと同期されたアニメーションが、ビートテンポを含むビートの出力時間に対して同期される。アニメーション業界で知られている時間スケール変更手法およびビデオフレーム補間手法を用いて、広範囲の同期された仮想シーンを、音声要素と視覚的要素の間の規定された関係に基づいてＡＡ／ＶＲモジュール３２１０によりプログラムでオンデマンドで生成することができる。
【0164】
図３４は、７人の患者に対する第１訓練セッション中の代謝変化（破線で接続された２つのドットの組でそれぞれ表される）を表現しているグラフである。図３４は、意図的に同調することで個人の酸素消費量を向上させられることを裏付けるデータを示す。この場合、グラフは、ＡＮＲシステムを用いた、リズムに合わせた訓練前とリズムに合わせた訓練後の人の酸素消費量（酸素量 ｍｌ／ｋｇ／ｍｅｔｅｒ）を示す。この図は平均で１０％削減されることを示している。この結果は、同調プロセスにより持久力を向上させて、歩行している間のエネルギー消費を低減させるのが可能であることを示している。
【0165】
この上記のプロセスは、上述した様々な取りうる目標パラメータのそれぞれに対して同様に実行することができて（例えば、酸素消費量は心拍数などの別の目標と交換可能である）、図１８から図３１に関連して論じられた歩行または他の介入に対して行うことができる。
【0166】
１つまたは複数の実施形態によれば、ＡＮＲシステム３２００は、人の運動に関するリアルタイムで測定される情報を、治療セッション中に患者へ出力されるＡＲ画像および／または音楽コンテンツの構成要素（例えば、瞬間的なテンポ、リズム、ハーモニー、メロディなど）と比較するよう構成することができる。このことをシステムで利用して、同調パラメータの算出、位相同調の決定、または基本的な持ち越された特徴を規定することができる。例えば、ＡＲ画像は目標パラメータと同じ速度または歩調で動くこともできる。あるいは、画像のＡＲに関連する動きを、人がどのように動くべきかと同期するように、リズミカルな刺激に同調させることもできる。
【0167】
ＡＲ ３Ｄ動的モデルの出力の例には、治療を行う人（本当の療法士）により開始される、患者の視野を歩く療法士（仮想の登場人物）または人（仮想の登場人物）を投影することが含まれうる。例えば、図３５は、例えば当技術分野で既知のＡＲグラスを用いて、ＡＲを用いて患者またはトレーナーの前に投影される療法士またはコーチの図を示す。このＡＲ ３Ｄ動的モデルは、一つまたは様々なＣＴＡを用いて制御される。複数のＣＴＡを組み合わせた場合、仮想療法士は図２２に関連して示され説明された手法を用いて始めて、その後に図１８に関連して示され説明されたような歩行訓練療法で進めることができる。あるいは、これらを二重タスクで同時に行うこともできる。これらの事例の間、仮想の登場人物は患者の健側と同様に円滑な動きで後方または前方へ歩いている、または動いているように、システムにより制御可能に表示することができる。これによりミラーニューロンを活性化させることができて、患側のニューロンは健側のニューロンの動作を反映するよう促される。このプロセスは、音声刺激を与えて仮想的な人および／または物理的な人をこの刺激に同期させることも含みうる。
【0168】
別の例では、ＡＲ ３Ｄ動的モデルは、患者の前方、および／または脇にいる人々および／または人々と物体の一団の中、または周りを患者が歩いているシナリオをシミュレーションするよう構成することができる。例えば、図３６ＡはＡＲを用いて患者の前方に投影された人々の一団の図を示す。システムは、その人の基準値より速く、または遅く移動する人々の一団または人を投影して、患者に現実世界の環境で同様の速度で動く、または停止／開始するように促すよう構成することができる。人々の一団または人は、リズミカルな聴覚刺激のビート、または別の所望の目標に同調させることもできる。誘導する際の様々な難易度レベルをＡＲ ３Ｄ動的モデルにより開始することができる。理解されるべきであるように、療法士、群衆、人、障害物、および同種のもののＡＲ光景は、ＣＴＡの出力に応じてＡＲ ３Ｄ動的モデルを用いて動的に調整することができる。
【0169】
別の例では、ＡＲ ３Ｄ動的モデルは、患者が進むべき仮想障害物コースを実現する、コーンの配列の中、または周りを患者が歩いているシナリオをシミュレーションするよう構成することができる。コーンは治療環境における通常の障害物であるが、これの他の実施形態は、通常の日常生活の活動（例えば、食料品の買い出し）をシミュレーションするよう構成することができる。これらのコーンは、仮想障害物と共に、前方への歩行での方向変更のみよりも、それぞれの側へ横へステップしながらの歩行と後方への歩行による方向変更を促すことができる。ここでも、出現する、および／または消えるコーンをＡＮＲシステムに提示させるのに、無線式ビーコントリガーを使用することができる。ビーコンは、コーンに関連する人の場所が検出されるのに基づいて作動される。加えて、誘導時間および長さで様々な難易度レベルを開始することができる。この例での目標パラメータは、歩行速度または歩行の品質の尺度とすることができる。成功した誘導とは、仮想的にコーンにぶつかることなくコーンの周りを誘導することであろう。システムは、人が障害物をうまく回避して、歩行の品質が劣化（変動性の上昇または悪化した非対称性で測定される）しない限り、より難しくなるレベル（例えば、より多くの障害物とより速い速度）を提示するよう構成することができる。
【0170】
別の例では、ＡＲ ３Ｄ動的モデルは、現実的な効果のために障害物を含みうる洞窟および／または崖の中、または周りを患者が歩いているシナリオをシミュレーションするよう構成することができる。現実感により、誘導で必要とされる細部が以前提示されたユースケースよりも向上する。非対称の歩行パターンを有する人での別の例では、患側でより長いステップを踏み出すことを人に要求する、曲がりくねった道を提示することができる。また、この曲がりくねった道は、人が転落しないように谷を跨ぐ必要がある、別々の崖でありうる。無線式ビーコントリガーは、ＡＮＲシステムに洞窟および／または崖の障害物を出現させる、および／または消えさせるのに使用することができて、その結果、誘導時間および経路長で難易度レベルが変動する。センサデータは、システムが運動を曲がりくねった道に同期させるのに使用することができる。患者による誘導要件は、基本的な規定されたコースにおける変更を方向づける、生体力学的反応でありうる。システムは、無線式空間・時間ビーコントリガーがＡＲ ３Ｄ動的モデルでの変更に影響を与えるように構成される。こうした無線式トリガーの時間的態様は、そうしたトリガーをオン／オフする能力である。これにより、患者が治療セッションの一部として取る必要があるコースに対する誘導路を計画する際の柔軟性を最大としうる。この瞬間の目標パラメータは、歩行速度または歩行の品質の尺度とすることができる。成功した誘導とは、経路から外れたり崖から転落することなく経路を進むことであろう。システムは、人が経路にうまく留まって、歩行の品質が劣化（変動性の上昇または悪化した非対称性で測定される）しない限り、より難しくなるであろうレベル（例えば、より多くの障害物とより速い速度）を提示するよう構成することができる。
【0171】
別の例では、ＡＲ ３Ｄ動的モデルは、患者が静止して立っている、または座っていて、仮想的な物体が提示されてそれぞれの足に近づいて来た際に前進するよう依頼されるシナリオをシミュレーションするよう構成することができる。例えば、図３６ＢはＡＲを用いて患者の前方に投影された足跡の図を示す。ＡＮＲシステムは、患者に横へのステップを促すために物体が患者の左または右へ近づきうる仮想的シーンを生成することができる。物体は、予め規定されたテンポまたはビートで患者へ近づいているように提示され、図２２に記載される決定木を辿る。また、過去の治療からの療法士または患者による正しい運動の視覚も投影されうる。
【0172】
別の例示のＡＲ ３Ｄ動的モデルの実装では、ＡＮＲシステムは、触覚フィードバックを治療へ取り入れるよう構成することができる。触覚フィードバックは、例えば、ユーザが投影されたＡＲ環境内で物体または人々に近づきすぎた場合にシステムが信号として用いることができる。また、リズミカルな触覚フィードバックを聴覚的キューと同期させて、感覚入力を増幅することもできる。また、例えばパーキンソン病を患う誰かの歩行の凍結エピソードの中で、ＡＲは適応的に、かつ個別に運動の開始にキューを付けることもできる。
【0173】
別の例示のＡＲ ３Ｄ動的モデルの実装では、ＡＮＲシステムはさらに、光学的な頭部追跡を取り入れるよう構成することができる。この追跡は、彼らの眼または頭が向いている場所に応答して聴覚的入力を作動させるよう構成されているＡＮＲシステムへのフィードバックとして取り入れることができる。例えば、自分の環境の右側だけとやり取りを行っている左側無視を患う人では、眼および頭部の追跡はその人の左半球の環境のどれだけ多くが関与しているかに対する入力を提供することができて、システムに聴覚的キューを生成させてより多くの注意を左半球へ向けさせる。また、臨床的改善は各半球における認識の度合いで測定可能であるので、このデータは経時的に進捗を追跡するのに使用することもできる。この別の例は眼球運動障害を患う人々で、左から右への視覚的スキャンが外部聴覚的リズムに合わせて行われることで改善されることがある。
【0174】
別の例示のＡＲ ３Ｄ動的モデルの実装では、ＡＮＲシステムは、過去のセッションのデジタル的な存在を提供してユーザの改善を表示するよう構成することができる。これらのモデルはセッション後に再生することができて、セッションごとの比較、または生涯にわたる治療の比較を行うことができる。過去のセッション（または拡張されたセッション）のデジタル的な存在は、そのセッションの音声入力と組み合わせた場合、歩行セッションの間に練習するための精神的画像作業として使用して、疲労を抑えることもできる。モデルは、歩行速度、歩調、ストライド長、および対称性の差を表示して、経時的なユーザの変化と、治療がユーザの歩行をどのように改善しうるかを示すのを助ける。また、この存在は、セッションの前に療法士が使用して、以降のセッションに対する訓練計画または手法を準備するのを助けることができる。モデル化された存在は研究者や臨床医により使用されて、患者の進捗の進化をよりうまく視覚化して３Ｄ画像内で再びアニメ化することもできる。
【0175】
別の例示のＡＲ ３Ｄ動的モデルの実装では、音楽コンテンツと同期されたＡＲ／ＶＲ環境は、卵形の道、螺旋形の道、蛇行した道、および他の道と交差する道、ならびにデュアルタスクの歩行を含めるために様々な歩行またはダンスのパターンを作り出すことができる。タンゴなどのダンスリズムは、人間の体全体へ適用することができる神経学的音楽療法（ＮＭＴ）およびＲＡＳに由来する利点を有することが示されている。
【0176】
１つまたは複数の実施形態によれば、ＡＮＲシステムは、ＡＡ手法を利用して同調プロセスを強化し、環境コンテキストを人に提供して、ＡＲ体験を支援するよう構成することができる。回復プロセスを強化するため、システムは、環境、センサデータ、ＡＲ環境、同調、および他の方法から得た入力に基づいて本明細書でさらに説明される例示のＡＡ体験を生成するよう構成することができる。
【0177】
治療／医学的ユースケースのＡＡの例は、安全性への懸念に対処し、運動療法を行う患者への危険性を軽減することである。ＡＮＲシステムは、音声の最小の大きさのしきい値を瞬間的に超える外部音を治療のリズミカルで音声キューが付けられたコンテンツに混合することで、ヘッドフォンで音楽を聴きながら状況認識を改善するよう構成することができる。外部音の例は車のクラクションの音や緊急車両のサイレンであり、これらが自動的に同期されて通常の聴覚刺激を遮って、危険の可能性についての認識を人に与える。この機能および他の機能を実行するため、聴音装置は追加のマイクと、この作業を行うための専用のデジタル信号処理を有することができる。
【0178】
更なる実施形態では、ＡＡを実装するＡＮＲシステムは、患者が歩行治療セッションを行っている間にリズミカルな聴覚的キューを患者の「患側」に並べることで、ＡＡの複数の態様と、空間的認識の操作を組み合わせるよう構成することができる。例えば、患者の右側がより大きな度合いの治療を必要とする場合、音声キューが付けられたコンテンツを強調するために空間的に右側に並べることができる。特定の側へのリズミカルな聴覚刺激のための手法を用いる神経学的リハビリテーションのための例示のシステムおよび方法が、同時係属中で同一出願人による、「神経学的リハビリテーションのためのシステムおよび方法」と題され２０１９年１１月１２日に出願された米国特許出願第６２／９３４，４５７号明細書で開示されており、参照によりその全体が本明細書に記載されているかのように本明細書に援用される。
【0179】
更なる実施形態では、ＡＡを実装するＡＮＲシステムは、固有の聴覚的キューを提供して歩行訓練を行っている間の頭部位置の空間認識を改善するよう構成することができて、これによりユーザに同調プロセスまたは他のＣＴＡ体験をしている間も頭を上げて中心線に置き、眼は前向きに保つように促して、バランスと空間認識を改善することができる。
【0180】
更なる実施形態では、ＡＡを実装するＡＮＲシステムは、両耳用のビート音を提供して、このビート音を人間の生理機能（例えば、呼吸数、電気的脳活動（ＥＥＧ）、心拍数）と結び付けることで認知を改善して記憶を強化するよう構成することができる。ＡＮＲシステムは、ＲＡＳ信号入力を補完する両耳用のビート音声信号入力を提供するよう構成することができる。システムにより行われている歩行測定のリアルタイムの同調と品質は、同様に生理学的測定により補完される。例えば、両耳用のビート音声のために構成されたシステムは、左耳および右耳に出力される差動周波数信号を使用し、その差異は４０Ｈｚ、つまり神経振動の「ガンマ」周波数である。これらの周波数は、アルツハイマー病の患者におけるアミロイドの蓄積を減少させることができて、認知の柔軟性を助けることができる。ユーザがＲＡＳ歩行訓練を行っている間にそのような音声信号をＡＡ装置を介してユーザへ供給することで、第２種類の神経同調を生体力学的ＲＡＳ同調と同時に実現することができる。脳活性化についてのネットワーク仮説は、歩行と認知の両方が影響を受けることを示唆している。それゆえ、そのような聴覚的感覚刺激は脳内の神経振動を同調させて、リズミカルな聴覚刺激は運動系を同調させる。
【0181】
更なる実施形態では、ＡＡを実装するＡＮＲシステムは、患者が頭を回転させた場合、または姿勢を変えた場合に位相がそろった音場（例えば、空間的視点で正しい音声）を提供するよう構成することができる。音場は、ステレオのスピーカーまたはヘッドフォンにより作り出される、仮想的な３Ｄ画像である。音場により、聴取者は音源の場所を正確に聞くことができる。治療セッションで音場を操作する例は、患者の頭が横を向いている間であっても、仮想コーチの声音を患者の「前方」に保つことである。この機能は失見当を回避するのを助けることができて、その結果、治療を行いながらより安定した、予測可能で安全な音声体験を作成することができる。この機能は、図３４で人の前にいるＡＲ仮想コーチ／療法士と組み合わせることもできる。また、この機能は、人が現実世界で取るべき進路または方向の知識と組み合わせることもできる。
【0182】
更なる実施形態では、ＡＮＲシステムは、患者が仮想の群衆と同期した際に仮想の音響効果（例えば、励ましや群衆の足音）が患者の視覚的注視に対して位相がそろった音場を作り出すように、ＡＡを拡張現実（ＡＲ）と組み合わせるよう構成することができる。また、この音声は、物体からの距離、または近さの認識を作り出すこともできる。また、そのような方法で空間的位置または音の大きさを変更することは、ＡＲおよび３Ｄ画像を併用して標的とする目標として使用することもできる。
【0183】
更なる実施形態では、ＡＮＲシステムは、仮想楽器療法を作成するように、ＡＡを拡張現実（ＡＲ）と組み合わせるよう構成することができる。ベル、ドラム、ピアノ、ギターなどの楽器は、患者にとって一般的な訓練の道具となりうる。こうした楽器のデジタルモデルを作成して、インタラクション時にＡＡフィードバックを与えることで、患者に没入体験と自分が物理的に楽器を演奏しているという認識を与えることができる。患者の経時的な進歩を助けて改善を見せるために、この難易度を変更することもできる。変更例には、ピアノで更なる鍵盤を追加すること、ギターで更なる弦を追加することを含みうる。仮想楽器に加え、患者が仮想の楽器または本物の楽器のいずれかの楽器を演奏している際に仮想の楽譜や記譜法をリアルタイムで表示することもできる。他の例では図１９に関連して論じた概念と組み合わせることもありえて、接続されたハードウェアをＡＲで置き換えることもできる。同様のロジックを他の文書化された介入に使用することもできる。
【0184】
更なる実施形態では、ＡＮＲシステムは、ＡＡをテレプレゼンスと組み合わせて実行して、療法士に空間的に正確な音声体験を提供するよう構成することができる。また、この音声は、物体からの距離、または近さの認識を作り出すように生成することもできる。ＡＡの空間的位置または音の大きさを変更して、ＡＲモデルを活用することで、システムを、患者が仮想装置の再生と関連付けられた目標を達成しているかをより効果的に判定して、患者により正確で特別な体験を提供するのに使用することができる。
【0185】
１つまたは複数の実施形態によれば、ＡＮＲシステムは、ある種類のＡＡ、すなわちリズミカルな刺激エンジン（ＲＳＥ）を実装することができる。リズミカルな刺激エンジンはカスタムメイドのリズミカルな聴覚刺激であり、独創的でカスタムされた、リズミカルな聴覚的コンテンツを患者のために生成しながら同調原理を具体化して治療効果を促進する。パーキンソン病などの病態では、患者の環境に一定のリズムの「サウンドトラック」を有することも有益になりうる。ＲＳＥは、予め録音された音楽へアクセスする必要なしに、この連続したリズミカルなバックグラウンドの神経刺激を行うよう構成することもできる。一例では、ＡＮＲシステムは、ＡＡをリズミカルな刺激エンジン（ＲＳＥ）およびＡＲと組み合わせて実行して、入力される生体データと治療環境からの外部音声入力の間で、生成されるリズミカルなコンテンツであるＡＲ／ＡＡ出力に対して完全に同期されたフィードバック状態を作り出すように構成することができる。別の例では、システムは、ＲＳＥにより生成されたリズミカルな音声コンテンツのテンポを患者の歩行の歩調によってインタラクティブに調節するよう構成することができる。別の例では、ＲＳＥにより生成されたリズミカルな音声コンテンツのテンポおよび拍子記号は、杖や補助器具を使用している患者などの患者ユーザの同調の精度とビート係数によりインタラクティブに調節することもできる。別の例では、ＲＳＥは、強化スーツ、強化外骨格、および／またはＦＥＳ装置などの支援技術と組み合わせて歩行治療の有効性を高める神経刺激を提供することもできる。別の例では、ＲＳＥは、伝統的なダンスリズムのテンプレートの記憶されたライブラリから、患者の上半身および手足へ治療を施しうるリズミカルな音声コンテンツを生成することもできる。これは、踊っている群衆や仮想のダンスフロアなどの上述したＡＲ手法を組み合わせて拡張することもできる。別の例では、自己学習ＡＩおよび／または規則ベースのシステムなどの機械学習手法は、歩調と、対称性や歩行サイクル時間の変動などの歩行パラメータの品質とを報告する慣性計測装置（ＩＭＵ）入力により管理されたリズムをリアルタイムで生成することもできる。教師なしＭＬクラスタリングまたは決定木モデルを用いることで、様々な歩行パターンは生成音楽システムへの入力として機能することができる。
【0186】
１つまたは複数の実施形態によれば、ＡＮＲシステムは、ある種類のＡＡ、すなわち可聴化（Ｓｏｎｉｆｉｃａｔｉｏｎ）を実行することができて、これは患者が標的とする目標にどれだけ近いか、または遠いかに応じて様々な量の信号歪みを音楽コンテンツに適用することを意味する。可聴化の度合いおよび種類は、患者を矯正状態へと動かすのを助ける。可聴化と同調という目新しい組み合わせにより、同調を用いた聴覚的運動の同期性に対してフィードフォワード機構を提供しながら、個人が調整することのできる何らかの他の生体力学的または生理学的パラメータの音楽コンテンツの歪みを用いたフィードバック機構を同時に提供することもできる。例えば、リズミカルなキューの音量を上げながら音楽信号に信号歪みを加えるのを組み合わせることで、どちらかの方法単独よりも大きな効果がある。
【0187】
１つまたは複数の実施形態によれば、ＡＮＲシステムは、神経毒の注入と組み合わせてＣＴＡを以下のように実行することができる。ＣＴＡは、同調原理を適用して、歩行などの運動機能の改善に向けて機能させることもできる。また、神経毒の注入は筋肉の痙縮を標的とすることで歩行の改善を標的とするのに使用することもできる。これらの注入の効果が出るまでは２～４日間かかり、最大で９０日間効果が継続する（例えば、有効期間）。同調原理のためのＣＴＡの投与（例えば、ＣＴＡの１つまたは複数のパラメータの設定）は、神経毒の注入の有効性曲線を目標とすることもできて、注入の効果が出るまでの期間は訓練はあまり激しくなく、有効期間中は訓練は強化される。
【0188】
１つまたは複数の実施形態によれば、ＡＮＲシステムは、生体力学的運動パラメータの代わりに心拍または呼吸数を音楽コンテンツに同期させて同調パラメータ算出するよう構成することができる。ユースケースの例は、認知症、アルツハイマー病、双極性障害、統合失調症などの様々な形態による動揺がある人々のためのものである。このユースケースでは、基本的パラメータは心拍数または呼吸数により決定することができる。同調または段階的な同調は、音楽コンテンツを心拍数または呼吸数と比較することで決定することができる。さらに、動揺の程度を下げてこうした人々の生活の質を増進するよう目標を設定することもできる。
【0189】
前述の説明から理解できるように、１つまたは複数の実施形態に係る、患者の拡張された神経学的リハビリテーションのためのシステムは、以下の項目のうち１つまたは複数を含みうる。
【0190】
１つまたは複数の物理プロセッサを有するコンピュータシステムは、機械可読命令を含むソフトウェアモジュールにより構成される。ソフトウェアモジュールは、プロセッサにより実行された場合に、治療セッション中に拡張現実視覚コンテンツおよび音声コンテンツを生成して患者へ提示するようプロセッサを構成する３Ｄ ＡＲモデル化モジュールを含みうる。コンテンツは、規定された空間的および時間的な順番で動く視覚的要素とビートテンポで出力されるリズミカルな音声要素を含む。
【0191】
また、コンピュータシステムは、プロセッサと通信を行い、ＡＲ視覚コンテンツおよび音声コンテンツに関連して患者が行う運動に関連する患者のタイムスタンプが付けられた生体力学データと、患者と関連付けられた１つまたは複数のセンサを用いて測定される生理学的パラメータとを含む入力を受信する入力インタフェースを備える。
【0192】
また、ソフトウェアモジュールはタイムスタンプが付けられた生体力学データを分析して、視覚的要素および音声要素に対する患者の運動の空間的関係および時間的関係を判定し、目標の生理学的パラメータに対する患者の同調レベルを決定するようプロセッサを構成する、批判的思考アルゴリズムも含む。さらに、３Ｄ ＡＲモデル化モジュールが、目標パラメータに対する決定された同調レベルに基づいて、患者へ出力される拡張現実視覚・音声コンテンツを動的に調整するようプロセッサをさらに構成する。
【0193】
上記のシステム、装置、方法、プロセス、および同種のものは、ハードウェア、ソフトウェア、または適用に適したこれらの組み合わせを用いて実現することができる。ハードウェアは、汎用コンピュータおよび／または専用のコンピュータ装置を含みうる。これには、内部および／または外部メモリを伴う、１つまたは複数のマイクロプロセッサ、マイクロコントローラ、組み込み型マイクロコントローラ、プログラム可能デジタル信号プロセッサ、または他のプログラム可能なデバイスもしくは処理回路での実現を含む。また、あるいは代わりに、これには１つまたは複数の特定用途向け集積回路、プログラマブルゲートアレイ、プログラマブルアレイロジック部品、または電子信号を処理するよう構成可能な１つまたは複数の任意の他のデバイスを含みうる。上述したプロセスまたは装置の実現には、上述の装置のうちの一つ、およびプロセッサ、プロセッサアーキテクチャ、または様々なハードウェアとソフトウェアの組み合わせの異種の組み合わせの上で記憶、およびコンパイル、または解釈されうる、Ｃなどの構造化プログラミング言語、Ｃ＋＋などのオブジェクト指向プログラミング言語、または任意の他の高水準もしくは低水準プログラミング言語（アセンブリ言語、ハードウェア記述言語、データベースプログラミング用言語および技術を含む）を用いて作成されたコンピュータ実行可能コードを含みうることがさらに理解されるであろう。別の態様では、方法はそのステップを実行するシステムにおいて具現化することができて、いくつかの方法で複数の装置に分散可能である。加えて、上述した様々なシステムなどの複数の装置に処理を分散可能であり、あるいは、すべての機能を専用のスタンドアロンの装置、または他のハードウェアへ統合することができる。別の態様では、上述したプロセスと関連付けられたステップを実行する手段には、上述したハードウェアおよび／またはソフトウェアのいずれかを含みうる。そのような配列および組み合わせはすべて本開示の範囲内であることが意図されている。
【0194】
本明細書で開示される実施形態は、１つまたは複数のコンピュータ装置上で実行された場合にそのステップのいずれか、および／またはすべてを実行する、コンピュータ実行可能コードまたはコンピュータで使用可能なコードを含むコンピュータプログラム製品を含みうる。コードはコンピュータメモリに非一時的に記憶可能であり、このメモリはその中でプログラムが実行されるメモリ（プロセッサと関連付けられたランダムアクセスメモリなど）、またはディスクドライブ、フラッシュメモリ、もしくは任意の他の光学的装置、電磁気的装置、磁気的装置、赤外線装置、もしくは他の装置、もしくはこれらの装置の組み合わせとすることができる。別の態様では、上述したシステムおよび方法のいずれかは、コンピュータ実行可能コード、および／またはコンピュータ実行可能コードからの任意の入力もしくは出力を運ぶ／搬送する任意の適切な伝送媒体または伝搬媒質において具現化することができる。
【0195】
上述した装置、システム、および方法は、限定ではなく、例として説明されていることが理解される。そうではないと明示されていない限り、開示されたステップは、本開示の範囲を逸脱することなく修正、補完、省略、および／または並べ替えを行うことができる。数多くの変形、追加、省略、および他の修正が当業者には明らかであろう。加えて、上述した説明および図面における方法ステップの順序または提示は、ある順序が明示的に要求されている、あるいはそうでなければある順序が文脈から明らかである場合を除き、列挙されたステップをこの順序で行うのを要求することを意図していない。
【0196】
本明細書に記載された実装の方法ステップは、異なる意味が明示的に与えられている、あるいはそうでなければ異なる意味であることが文脈から明らかである場合を除き、添付の請求の範囲の特許性と整合する、そのような方法ステップを実行するのに適した任意の方法を含むことが意図されている。それゆえ、例えばステップＸを実行することには、リモートユーザ、リモート処理資源（例えば、サーバやクラウドコンピュータ）、機械などの別の関係者にステップＸを実行させるのに適した任意の方法が含まれる。同様に、ステップＸ、ＹおよびＺを実行することには、そのようなステップの恩恵を得るために、そのような他の個人や資源の任意の組み合わせへ指示、または制御してステップＸ、Ｙ、およびＺを実行させる任意の方法が含まれうる。したがって、本明細書に記載された実装の方法ステップは、異なる意味が明示的に与えられている、あるいはそうでなければ異なる意味であることが文脈から明らかである場合を除き、添付の請求の範囲の特許性と整合する、１つまたは複数の他の関係者もしくはエンティティにそれらのステップを実行させるのに適した任意の方法を含むことが意図されている。そのような関係者またはエンティティは、いかなる他の関係者またはエンティティの指示または管理を受ける必要はなく、特定の管轄内に配置される必要もない。
【0197】
さらに、上述された方法は例として提供されていることを理解されたい。そうではないと明示されていない限り、開示されたステップは、本開示の範囲を逸脱することなく修正、補完、省略、および／または並べ替えを行うことができる。
【0198】
上述した方法およびシステムは、限定ではなく、例として説明されていることが理解される。数多くの変形、追加、省略、および他の修正が当業者には明らかであろう。加えて、上述した説明および図面における方法ステップの順序または提示は、特定の順序が明示的に要求されている、あるいはそうでなければ特定の順序が文脈から明らかである場合を除き、列挙されたステップをこの順序で行うのを要求することを意図していない。したがって、特定の実施形態が示され説明されているが、本開示の趣旨および範囲から逸脱することなく、形式および詳細において、それらの実施形態で様々な変更および修正を行うことが可能なことは当業者には明らかであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36A】
【図36B】
【図37】
【図38】
【図39】
【図40】
【図41】
【国際調査報告】