特開 2024-178774 情報処理システム、情報処理方法および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178774

(43)【公開日】2024-12-25

(54)【発明の名称】情報処理システム、情報処理方法および情報処理プログラム

(51)【国際特許分類】

   G16H 20/00 20180101AFI20241218BHJP

【ＦＩ】

G16H20/00

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023097169

(22)【出願日】2023-06-13

(11)【特許番号】

(45)【特許公報発行日】2023-12-05

(71)【出願人】

【識別番号】517147593

【氏名又は名称】株式会社ｍｅｄｉＶＲ

(74)【代理人】

【識別番号】100134430

【弁理士】

【氏名又は名称】加藤 卓士

(72)【発明者】

【氏名】原 正彦

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA15

(57)【要約】

【課題】効果的にユーザの認知能力または運動能力を向上させること。
【解決手段】ユーザの身体の全部または一部を見えなくする遮断部と、
前記ユーザの身体の一部または前記ユーザが操作する物体と、目標オブジェクトとを重ね合わせるような身体動作を前記ユーザに要求する要求部と、
前記遮断部及び前記要求部により生成された、関節の異常動作を顕在化させる環境下において、前記身体動作を行う身体部位とは異なる関節の動きに応じて前記動作の難度を制御するための制御部と、
を備えた情報処理システム。
【選択図】 図１

【特許請求の範囲】

【請求項1】

ユーザの身体の全部または一部を見えなくする遮断部と、
前記ユーザの身体の一部または前記ユーザが操作する物体と、目標オブジェクトとを重ね合わせるような身体動作を前記ユーザに要求する要求部と、
前記遮断部及び前記要求部により生成された、関節の異常動作を顕在化させる環境下において、前記身体動作を行う身体部位とは異なる関節の動きに応じて前記動作の難度を制御するための制御部と、
を備えた情報処理システム。

【請求項2】

前記要求部により要求された前記身体動作の達成を、前記ユーザにフィードバックするフィードバック部を更に備えた請求項１に記載の情報処理システム。

【請求項3】

前記フィードバック部は、前記要求部により要求された前記身体動作の達成ごとに、前記ユーザの５感のうち２つ以上の感覚を刺激するフィードバックを行う請求項２に記載の情報処理システム。

【請求項4】

前記関節の動きを評価する関節連関評価部を更に備えた請求項１に記載の情報処理システム。

【請求項5】

前記要求部、或いは前記制御部が、前記ユーザの身体動作が左右交互となるように制御する請求項１に記載の情報処理システム。

【請求項6】

前記制御部は、前記目標オブジェクトの大きさ、前記ユーザからの距離、角度、スピード、背景の有無、音楽の有無、及び視認補助画像の大きさ、の少なくともいずれか一つを変更して、前記動作の難度を制御する請求項１に記載の情報処理システム。

【請求項7】

前記遮断部は、仮想空間を表示するヘッドマウントディスプレイであり、
前記要求部は、前記目標オブジェクトと、前記ユーザの身体の一部または前記ユーザが操作する物体を表すアバターオブジェクトと前記仮想空間において生成し、前記ヘッドマウントに表示させる請求項１に記載の情報処理システム。

【請求項8】

前記遮断部は、前記ユーザの身体の全部または一部に背景を表示するプロジェクションマッピングシステム、または仮想空間を表示するコンタクトレンズ型ディスプレイであり、
前記要求部は、前記プロジェクションマッピングシステムを用いて、前記目標オブジェクトと、前記ユーザの身体の一部または前記ユーザが操作する物体を表すアバターオブジェクトとを、前記背景に表示させる、または、前記目標オブジェクトと、前記ユーザの身体の一部または前記ユーザが操作する物体を表すアバターオブジェクトと前記仮想空間において生成し、前記コンタクトレンズ型ディスプレイに表示させる請求項１に記載の情報処理システム。

【請求項9】

遮断部によりユーザの身体の全部または一部を見えなくする遮断ステップと、
要求部により前記ユーザの身体の一部または前記ユーザが操作する物体と、目標オブジェクトとを重ね合わせるような身体動作を前記ユーザに要求する要求ステップと、
前記遮断ステップ及び前記要求ステップにより生成された、関節の異常動作を顕在化させる環境下において、制御部が、前記身体動作を行う身体部位とは異なる関節の動きに応じて前記動作の難度を制御する制御ステップと、
を含む情報処理方法。

【請求項10】

ユーザの身体の全部または一部を見えなくする遮断ステップと、
前記ユーザの身体の一部または前記ユーザが操作する物体と、目標オブジェクトとを重ね合わせるような身体動作を前記ユーザに要求する要求ステップと、
前記遮断ステップ及び前記要求ステップにより生成された、関節の異常動作を顕在化させる環境下において、前記身体動作を行う身体部位とは異なる関節の動きに応じて前記動作の難度を制御するための制御ステップと、
をコンピュータに実行させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法および情報処理プログラムに関する。

【背景技術】

【0002】

上記技術分野において、特許文献１には、脳卒中等による片麻痺患者に対して行なわれるシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－２２８９５７号公報

【非特許文献】

【0004】

【非特許文献1】Nature "A somato-cognitive action network alternates with effector regions in motor cortex" by Evan M. Gordon et al. Published online:19 04 2023

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記文献に記載の技術では、ユーザがどのような動きをしたときに、あるいはどのような動きをしないときに、次のステップに進むべきかの指標がなかった。一方、非特許文献１に開示されているように、脳内の神経回路について、複数の関節を連関させる協調運動を司る脳神経領域が存在することがわかってきた。

【0006】

本発明の目的は、上述の課題を解決する技術を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明にかかるシステムは、
ユーザの身体の全部または一部を見えなくする遮断部と、
前記ユーザの身体の一部または前記ユーザが操作する物体と、目標オブジェクトとを重ね合わせるような身体動作を前記ユーザに要求する要求部と、
前記遮断部及び前記要求部により生成された、関節の異常動作を顕在化させる環境下において、前記身体動作を行う身体部位とは異なる関節の動きに応じて前記動作の難度を制御するための制御部と、
を備えた情報処理システムである。
上記目的を達成するため、本発明にかかる方法は、
遮断部によりユーザの身体の全部または一部を見えなくする遮断ステップと、
要求部により前記ユーザの身体の一部または前記ユーザが操作する物体と、目標オブジェクトとを重ね合わせるような身体動作を前記ユーザに要求する要求ステップと、
前記遮断ステップ及び前記要求ステップにより生成された、関節の異常動作を顕在化させる環境下において、制御部が、前記身体動作を行う身体部位とは異なる関節の動きに応じて前記動作の難度を制御する制御ステップと、
を含む情報処理方法である。
上記目的を達成するため、本発明にかかるプログラムは、
ユーザの身体の全部または一部を見えなくする遮断ステップと、
前記ユーザの身体の一部または前記ユーザが操作する物体と、目標オブジェクトとを重ね合わせるような身体動作を前記ユーザに要求する要求ステップと、
前記遮断ステップ及び前記要求ステップにより生成された、関節の異常動作を顕在化させる環境下において、前記身体動作を行う身体部位とは異なる関節の動きに応じて前記動作の難度を制御するための制御ステップと、
をコンピュータに実行させる情報処理プログラムである。

【発明の効果】

【0008】

本発明によれば、効果的にユーザの認知能力または運動能力を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る情報処理システムの構成を示すブロック図である。

【図2A】第２実施形態に係るリハビリテーション支援システムの構成を示すブロック図である。

【図2B】第２実施形態に係るリハビリテーション支援システムの構成を説明するための図である。

【図2C】第２実施形態に係るリハビリテーション支援システムの構成を説明するための図である。

【図3A】第２実施形態に係るリハビリテーション支援システムの操作パネル画面の一例を示す図である。

【図3B】第２実施形態に係るリハビリテーション支援システムの操作パネル画面の他の例を示す図である。

【図4A】第２実施形態に係るリハビリテーション支援システムのタスクデータテーブルの一例を示す図である。

【図4B】第２実施形態に係るリハビリテーション支援システムのタスクデータテーブルの他の例を示す図である。

【図5】第２実施形態に係るリハビリテーション支援システムのヘッドマウントディスプレイでの表示画面の一例を示す図である。

【図6】第２実施形態に係るリハビリテーション支援システムのヘッドマウントディスプレイでの表示画面の一例を示す図である。

【図7】第２実施形態に係るリハビリテーション支援システムのヘッドマウントディスプレイでの表示画面の一例を示す図である。

【図8】第２実施形態に係るリハビリテーション支援システムのヘッドマウントディスプレイでの表示画面の一例を示す図である。

【図9】第２実施形態に係るリハビリテーション支援システムの処理の流れを示すフローチャートである。

【図10】第２実施形態に係るリハビリテーション支援システムによるリハビリの結果を示すデータである。

【発明を実施するための形態】

【0010】

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

【0011】

［第１実施形態］
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。情報処理システム１００は、関節の異常動作を顕在化させる環境を提供するシステムである。

【0012】

図１に示すように、情報処理システム１００は、遮断部１０１と、要求部１０２と、制御部１０３とを含む。遮断部１０１は、ユーザ１１０の身体の全部または一部を見えなくする。要求部１０２は、ユーザ１１０の身体の一部またはユーザが操作する物体１２１と、目標オブジェクト１１１とを重ね合わせるような身体動作をユーザ１１０に要求する。制御部１０３は、ユーザ１１０が身体動作を行う身体部位とは異なる関節の動き１３１に応じて身体動作の難度を制御する。

【0013】

以上の構成により、ユーザが身体動作を行う身体部位とは異なる関節の異常動作を顕在化させることができ、ひいては、その異常動作を指標として、ユーザの認知能力または運動能力を効果的に向上させることが可能となる。

【0014】

［第２実施形態］
本発明の第２実施形態に係るリハビリテーション支援システム２００について、図２Ａを用いて説明する。リハビリテーション支援システム２００は、関節の異常動作を顕在化させる環境を提供するシステムの一例であり、本発明はこれに限定されるものではない。すなわち本発明は「リハビリテーション」という概念に限定されるべきものではなく、麻痺や失調から、認知症や統合失調症などの身体的疾患、および認知、精神的疾患を積極的に治療する治療システムも本発明に含まれる。さらには、何ら治療やリハビリが必要とされない健常者の運動能力や認知能力を現状より向上させるための動作検証システム、能力改善、向上システムも本発明に含まれる。
図２Ａは、本実施形態に係るリハビリテーション支援システム２００の構成を説明するための図である。本実施形態に係るリハビリテーション支援システム２００は、上肢機能、歩行機能、体幹機能やバランス機能等の身体機能、認知機能（空間認知や注意機能、高次脳機能を含む）、および感覚機能（内耳、前庭系や触覚、温痛覚、位置覚、深部感覚を含む）の少なくとも１つの機能を改善させる。

【0015】

図２Ａに示すように、リハビリテーション支援システム２００は、要求部および制御部としてのリハビリテーション支援装置２１０と、２つのベースステーション２３１、２３２と、遮断部としてのヘッドマウントディスプレイ２３３と、２つのコントローラ２３４、２３５とを備える。ユーザ２２０は、椅子２２１に座りながら、ヘッドマウントディスプレイ２３３を装着し、ヘッドマウントディスプレイ２３３の表示に合わせて、身体を動かす。本実施形態では、椅子に座って行なう動作の検証を前提に説明するが、本発明はこれに限定されるものではなく、立って行なっても、歩きながら行っても、ベッド上で行っても、仰臥位や腹臥位で行っても、あるいは走りながら、またはその他特定の動作を行いながら行ってもよい。また、ここではユーザ２２０が両手でコントローラ２３４、２３５を保持しているが、本発明はこれに限定されるものでもなく、足や体幹等、手以外の体の部位に保持、装着してもよい。

【0016】

２つのベースステーション２３１、２３２は、ヘッドマウントディスプレイ２３３の動きおよびコントローラ２３４、２３５の動きを検知して、リハビリテーション支援装置２１０に送る。リハビリテーション支援装置２１０は、ヘッドマウントディスプレイ２３３の動きに基づいて、ヘッドマウントディスプレイ２３３における表示を制御する。具体的には、ヘッドマウントディスプレイ２３３の位置や向きに応じて仮想空間上の視点の位置および向きを変更し、ヘッドマウントディスプレイ２３３に表示する画像を決定する。また、コントローラ２３４、２３５の動きに基づいて、ユーザ２２０のリハビリテーション動作を評価する。
なお、ヘッドマウントディスプレイ２３３としては、非透過タイプでも、ビデオシースルータイプでも、オプティカルシースルータイプでも、あるいは眼鏡型でも構わない。本実施形態ではＶＲ（Virtual Reality）の仮想空間をユーザに提示するが、ＡＲ（Augmented Reality:拡張現実）のように、現実空間と仮想空間とを重畳表示してもよいし、ＭＲ（Mixed Reality:複合現実）のように、仮想空間に現実情報を反映させてもよいし、あるいはホログラム技術を代替手段として用いてもよい。
ここで重要なことは、ヘッドマウントディスプレイ２３３により、ユーザの身体の全部または一部を直接見えなくすることである。通常、人間は現実空間においては、体の動きを視覚的に認識しながら、その動きを無意識に脳内で微調整してターゲットまで動かしている。本システムにおいてユーザ２２０は、直接現実空間の自分の手を見ることができないため、ユーザの脳は、通常のように手の動きに正確な補正を加えることができない。そのため、協調運動障害が顕在化され、身体動作を行う部位とは異なる関節の異常な動きが検出しやすくなる。この際、例えば遮断部として、ユーザの身体の全部または一部に背景を表示するプロジェクションマッピングシステムを採用してもよい。また遮断部として、仮想空間を表示するコンタクトレンズ型ディスプレイを採用してもよい。

【0017】

本実施形態では、ユーザの手や頭の位置または動作を検出するためのセンサの一例として、ユーザ２２０が手に持つコントローラ２３４、２３５や、ベースステーション２３１、２３２を示しているが、本発明はこれに限定されるものではない。ユーザの"手そのものの位置"または動作を画像認識処理により検出するためのカメラ（深度センサを含む）や、温度によりユーザの手の位置を検出するためのセンサや、ユーザの腕に装着させる腕時計型のウェアラブル端末などや、モーションキャプチャなども、動作検出部２１１と連動することで本発明に適用可能である。つまり、キネクト（登録商標）等の三次元トラッキング装置や動作分析装置を用いたり、体にマーカー等を装着したりして行うことが一つの実施形態となる。

【0018】

リハビリテーション支援装置２１０は、動作検出部２１１、表示制御部２１２、２１３、フィードバック部２１４、評価更新部２１５、タスクセットデータベース２１６、設定部２１７、動作誘導部２１８を備える。

【0019】

動作検出部２１１は、ユーザ２２０が手に持つコントローラ２３４、２３５の位置をベースステーション２３１、２３２を介して取得し、ユーザ２２０の手の位置の変化によりユーザ２２０のリハビリテーション動作を検出する。

【0020】

表示制御部２１２は、３次元的な身体動作をユーザ２２０に促すための目標オブジェクト２４２ａ、２４２ｂを仮想空間２４０において生成し、表示する。特に、表示制御部２１２は、ユーザ２２０の左側の身体の一部を３次元的にリハビリテーション動作させるための目標オブジェクト２４２ａと、ユーザ２２０の右側の身体の一部をリハビリテーション動作させるための目標オブジェクト２４２ｂを仮想空間２４０において生成する。つまり、ユーザに対して、目標オブジェクトへのリーチングを要求する要求部として機能する。

【0021】

なおここでは、ヘッドマウントマウントディスプレイに表示される仮想的なターゲットへのリーチングを要求するが、本発明はこれに限定されるものではなく、現実世界に設けられた物体をターゲットとしてもよい。２本以上のワイヤで吊り下げた物体や、超音波の振動で空中に浮遊させた物体などをターゲットとしてもよい。また、ホログラムで３次元的に表示した物体をターゲットとしてもよい。ターゲットとしての目標オブジェクトの形状は、球状に限定されるものではなく、三角、四角、皿形状でもよい。何らかのキャラクターの形状でもよい。オプティカルシースルーやスマートグラスタイプのヘッドマウントディスプレイを用いて、ユーザの視覚を部分的に遮断してユーザ自身の動きを見えなくしつつ、ターゲットのみは視認できるようなシステムも本発明の概念に含まれる。

【0022】

表示制御部２１２は、目標オブジェクト２４２ａ、２４２ｂを仮想空間内に生成し、ユーザ２２０の上方向から下方に向けて移動させる。これにより、ヘッドマウントディスプレイ２３３においては、表示位置および大きさが徐々に変わるように（例えば徐々に大きくなり、その後小さくなるように）表示される。なお、目標オブジェクトの移動方向は、例えば床面方向から頭上方向への上昇方向でもよい。また、目標オブジェクトは、上下方向の動きに加えて奥行き方向や左右方向への移動を含め、３次元的にどのような移動を伴ってもよいし、あるいは、ユーザの段階によっては移動せずにある特定の座標位置に固定されていてもよい。

【0023】

さらに、表示制御部２１２は、検出したユーザ動作に応じて動くアバターオブジェクト２４１ａ、２４１ｂを仮想空間内に生成する。ここでのアバターオブジェクト２４１ａは、左手で操作するコントローラ２３４に対応して動くオブジェクトであり、ユーザの左側の身体の一部の位置を表す。アバターオブジェクト２４１ｂは、右手で操作するコントローラ２３５に対応して動くオブジェクトであり、ユーザの右側の身体の一部の位置を表す。アバターオブジェクトは、コントローラの位置に対応して動くオブジェクトに限定されない。上述したような三次元身体トラッキング技術を用いてユーザの身体の一部の位置の変化に伴って動く仮想オブジェクトでもよい。ユーザが操作する物体も、図示されるようなコントローラに限定されるものではなく、例えばバットやゴルフクラブのようなものでもよい。表示制御部２１２は、アバターオブジェクト２４１ａ、２４１ｂを目標オブジェクト２４２ａ、２４２ｂに重ね合わせるような身体動作をユーザに要求する。

【0024】

アバターオブジェクト２４１ａ、２４１ｂが表示されたとしても、実際の身体の動きが直接見える場合に比べると、体の一部あるいは全部が遮断されて見えない状態の場合、ユーザの脳内における負担が大きくなる。自分の体（現実空間におけるコントローラなども）が見えない状態で、仮想空間中のコントローラの位置（点）を見て現実空間でのコントローラの位置（点）を推定するという脳の働き（いわゆる点推定）が必要になるからである。この場合、脳は視覚に頼らずかなり強力に体の状態をイメージする必要があり、これを強力なフィードフォーワードを要すると医学では表現する。強力なフィードフォーワードを要求された脳は、体の協調的な調整がより困難となり、協調運動障害が顕在化され、身体動作を行う部位とは異なる関節の異常な動きが発出しやすくなる。また、点推定を要する強力なフィードフォーワードが行われることで、錐体路を介した刺激により体の深層筋の収縮を惹起可能となる。

【0025】

そのため、例えば右腕を動かして右側コントローラ２３５のアバター画像２４１ｂを、右側の目標オブジェクト２４２ｂにリーチングする際に、無意識のうちに左足の膝関節に力が入り左足の下腿部が前方または後方に動いてしまうことがある。ここでは、このような要求する動きには必要のない関節が意図せずに動いてしまう現象を関節連関（articular linkage）と呼び、ユーザの動作改善の指標に用いる。なお、この関節連関はアナトミカルトレインと呼ばれる解剖学的な繋がりがなくとも顕在化される。例えば、足の指の関節を随意的に動作させるような場合に、顎関節や股関節、肩関節に異常が生じる等である。

【0026】

このような現象は、非特許文献１でも取り上げられているように、協調運動を司る運動野があらゆる関節を跨いで存在する事実（図２Ｂ）によって裏付けられていると考えることもできる。図２Ｂを見ると、最新の脳神経学において、脳神経が左右対称の部位（右手と左手、右足と左足、右目と左目のように）ごとにグループ化されかつ、それらの運動野が脳内において対称となるように配置されていることがわかる。さらに足の運動野２６１と手の運動野２６２との間、手の運動野２６２と顔の運動野２６３との間に、操り人形２６４～２６６で示された身体の各部位の連携を司る神経領域が存在しているらしいことが新たにわかってきている。操り人形２６４～２６６のような身体の各部位を連携させる神経の存在により、本発明による身体の全部または一部が見えない状況で、点推定を要求されるという特定の環境下において、運動中の関節連関が顕在化すると考えられる。

【0027】

本発明者は、実際には非特許文献２の公開前から、実際のユーザのリハビリテーション動作を観察することにより、本発明の創出に至っていたものであるが、その有用性、論理性が、非特許文献１の論文によって理論づけられたと言える。

【0028】

図２Ａでは関節連関の発出の一例として膝関節の動きを図示したが、本発明はこれに限定されるものではなく、要求された動作を行う身体部位とは異なる関節の不随意運動は全て本発明の概念に含まれる。例えば、図２Ｃに示すように、関節平面２７１、２７２を検知し、その傾きを計算することにより、肩関節や体幹（頸椎関節、胸椎関節）のねじれと腰（腰椎関節、股関節）のねじれの同時発生を検出する場合もある。

【0029】

具体的には、頸椎椎間関節のねじれ（頭の向きに現れる）、胸椎椎間関節のねじれ（肩の角度に現れる）、肩関節の挙上や外転（脇が開く）、膝関節、股関節、足関節の伸展収縮（膝やつま先が上下したり内反、外転する）、肘関節の伸展収縮（動かすことを要求されていない腕が屈曲位で固定となる）、顎関節の伸展（口が開く）、手内関節や指関節の屈曲進展、趾関節の屈曲（クロートゥー）や進展などが関節連関として発生する。このような関節の動きは屈曲（Flexion）、伸展（Extension）に限らず、内転（Adduction）、外転（Abduction）、回内（Internal Rotation）、回外（External Rotation）、回旋（Circumduction）、或いはそれらの組み合わせや、ここに記載しない動きも含む。

【0030】

カメラ２３６を設置して、リハビリテーション動作中のユーザの各関節の位置、ねじれ、傾き、動きの速度、加速度などを検出、評価する関節連関評価部２１９を有してもよい。関節連関評価部２１９は、ユーザ２２０の各関節の動きを検出し、その動きの大きさや速度やタイミングなどから、関節連関が生じているか否か評価する。このような関節連関が小さくなるようにリハビリテーション動作を要求し、ユーザに達成させる。脳をＣＰＵに例えれば、その計算能力１００のうち、関節連関に８０とられていた情報処理過程を整理して２０にすれば、要求されるより複雑な動作も可能となり、運動能力が向上する。あるいは、認知処理に避けるＣＰＵ容量が向上すれば、認知能力も向上するという考え方である。カメラ２３５でユーザを撮影し、正常時（運動前）の画像と比較、あるいは正常な動作モデルと比較することにより、関節面の異常なねじれや動きを検出することができる。その他、ユーザの関節（例えば両肩、両肘、手首、両膝、両足関節など）にセンサを貼り付けて（あるいはモーションキャプチャにより）、ベースステーション２３１、２３２でその位置を検出して関節連関を検知してもよい。もちろんオペレータが視認して関節連関の発生を認識してシステムに入力してもよい。ヘッドマウントディスプレイ２３３の傾きをベースステーション２３１、２３２で検出して、首の関節連関を検知してもよい。例えば、ヘッドマウントディスプレイ２３３が３０度傾いていれば、体幹１５度（カメラ画像による判定）、首１５度と判断できる。手首関節の傾きなどは、コントローラ２３４、２３５の位置や傾きをベースステーション２３１、２３２で検出して判定できる。さらに、関節連関評価部２１９は、関節連関としての動きを距離、加速度等としてブルズアイでヒートマップ表記してもよいし、関節連関の経時的変化を表記し、動作の難度制御に役立つ情報を提供してもよい。具体的には要求するリーチング動作の開始から終了するまで、関節連関がどのように変化するかを可視化してもよいし、各関節の関節連関の大きさを比較してもよい。どの関節に注目すればいいのかの判断が容易になる。

【0031】

股関節、膝関節、足関節、首関節、体幹、肘関節の６関節を集中的に検知してもよい。さらに多くの分類に分割しても良く各関節単位（人は６８個）を全て見てもよいし、逆に異常の最も検知しやすい一つ、または少数個のみの関節に注目するような工夫をしてもよい。さらには、複数の評価指標を合計点等として１つの統合指標、パラメータに落とし込んでもよい。つまり、全身又は重要な一部の各関節連関に重み付けをして統合し、トータルの関節連関評価（関節連関スコアの算出）を行っても良い。

【0032】

１０ｃｍのターゲットに２ｃｍのセンサを重ねる要求動作であれば、点推定の精度は低いが、１ｃｍのターゲットに１ｃｍのセンサを重ねる要求動作には高い精度の点推定が必要になる。この場合、ユーザはヘッドマウントディスプレイなどの遮断部を利用すると、実世界の視覚情報が遮断されているため、不自由な状態となり、点推定のための脳神経が研ぎ澄まされる必要が生じて協調運動障害が顕在化し、すなわち関節連関がより顕著に出現する。これが関節連関発生機序の一つである。

【0033】

リハビリレベル（ユーザの運動能力）が上がればターゲットとセンサの大きさを両方小さくすることで点推定の要求精度を上げて、代償となる関節連関をより強く顕在化させる。その状態で繰り返しリハビリテーション動作を要求することで、あるいは、声掛けや身体的接触により正しい動作をより簡単に行えるように誘導することで、関節連関が治まるようになる。これにより全身のアライメントがとれた（rewired）状態となり、協調運動障害が軽快、改善する。

【0034】

関節連関評価部２１９は検知した関節連関の位置および大きさをオペレータ画面（図３）などに表示してもよい。過去の関節連関との比較や正常動作モデルとの比較を行う比較部をさらに有し、その比較結果をオペレータに通知してもよい。これによりオペレータは、関節連関の変化をより精度良く認識できる。

【0035】

関節連関がある基準以上に小さくなったと判定すると、リハビリテーション動作の負荷を上げ、関節連関がある基準以上に大きくなったり、大きくなった状態が継続している（関節連関が改善していない）と判定すると、リハビリテーション動作の負荷を下げる。

【0036】

なお、関節連関が出るか否かには、目標オブジェクトの大きさ、角度、高さ、距離、動きの方向や動きの有無、動きのスピード、色、形状、視認性、コントローラ等の点推定で重ね合わせるための装置や指標の大きさ、色、形状、視認性、背景情報の有無、バックグラウンドサウンドの有無などが影響を有する。関節連関を出させて、それを鎮めることが本システムにおけるリハビリテーション動作の目標となる。つまり関節連関が、治療の指針となる。リハビリテーション動作中にユーザの膝や肩を押すことにより関節連関が抜けていくこともある。このように、脳内神経回路のほつれを徒手的に強制的に修正することも可能である。

【0037】

図２Ａに戻ると、アバターオブジェクト２４１ａ、２４１ｂおよび目標オブジェクト２４２ａ、２４２ｂの画像を、動作検出部２１１が検出したヘッドマウントディスプレイ２３３の向きおよび位置に応じて、表示画面２４０に表示させる。アバターオブジェクト２４１ａ、２４１ｂおよび目標オブジェクト２４２ａ、２４２ｂの画像は、背景画像２４３に重畳表示される。ここでは、アバターオブジェクト２４１ａ、２４１ｂは、コントローラ２３４、２３５と同じ形状をしているがこれに限定されるものではなく、手の形でもよい。さらに左右で大きさや形状、色を変えたりしてもよい。コントローラ２３４、２３５には１つ以上のボタンが用意されており、ボタンを操作することにより原点設定などの初期設定を含む各種設定を行うことができるように構成されているが、ボタン機能を無効にしたり、ボタンそのものを配置しないで、全ての設定を別途外部の操作部を用いて実行するように構成してもよい。背景画像２４３は、地平線２４４と、地表面オブジェクト２４５とを含んだ仮想空間から切り出したものである。視線の移動（ヘッドマウントディスプレイの位置および向き）に応じて、背景画像２４３およびアバターオブジェクト２４１ａ、２４１ｂおよび目標オブジェクト２４２ａ、２４２ｂの見え方は変わる。

【0038】

表示制御部２１２は、右側の身体の一部の位置を示すアバターオブジェクトと、その右側のアバターオブジェクトの目標位置を示す目標オブジェクトとを同系色または同形状で生成する。また、表示制御部２１２は、左側の身体の一部の位置を示すアバターオブジェクトと、その左側のアバターオブジェクトの目標位置を示す目標オブジェクトとを同系色または同形状で生成する。また、左側アバターオブジェクトと左目標オブジェクトの色または形状は、右側アバターオブジェクトおよび右目標オブジェクトの色または形状と異なるように設定することが望ましい。ただし、同側だとしてもアバターオブジェクトと目標オブジェクトを必ずしも同系色や同形状に設定する必要はなく、あるいは右側と左側で色を分ける必然性もない。このあたりはユーザの使用感に応じていかように設定してもよい。

【0039】

ここでは、例としてアバターオブジェクト２４１ａ、２４１ｂは例えば青と赤で色分けされており、目標オブジェクト２４２ａ、２４２ｂも、青と赤に色分けされている。青い目標オブジェクト２４２ａには、青いアバターオブジェクト２４１ａを接触させることによりタスク達成となる。同様に赤い目標オブジェクト２４２ｂには、赤いアバターオブジェクト２４１ｂを接触させることによりタスク達成となる。すなわち、異なる色のアバターオブジェクトを接触させてもタスク達成とはならない。ここでは青と赤に色分けすることを例として示しているが、色盲のユーザ向けに、他の色分け（黄色と緑など）で表示してもよいし、あるいは色を用いずに形状や、「左」「右」、「L（Left）」「R（Right）」といったように言語的な表記、あるいは星印や三角印や○?のように記号を表記したり、図中の２４２a、２４２bのように異なる模様（ストライプ）を表記することで区別できるようにしてもよい。

【0040】

動作誘導部２１８は、ユーザの右側の身体の一部のリハビリテーション動作と、ユーザの左側の身体の一部のリハビリテーション動作とが交互に行われるように誘導する。具体的には、動作誘導部２１８は、右、左を表す文字、色、または図形の表示、「みぎ」および「ひだり」を識別するための音声出力、あるいはユーザが左右の手に持つコントローラの振動を用いた触覚刺激や、肩や腕を触る、叩く等の方法により、ユーザのリハビリテーション動作を誘導する。

【0041】

アバターオブジェクト２４１ａ、２４１ｂが目標オブジェクト２４２ａ、２４２ｂにぶつかると、表示制御部２１２は目標オブジェクト２４２ａ、２４２ｂを消滅させ、フィードバック部２１４は、目標動作が達成されたとして、目標動作の達成を報知、あるいは知らせる目的でメッセージを表示して視覚的なフィードバックを行う。アバターオブジェクト２４１ａ、２４１ｂのセンサ中心が目標オブジェクト２４２ａ、２４２ｂの中心にリーチングすれば「あっぱれ」、周辺領域へのリーチングでも「おみごと」と１回のタスクごとに表示する。これにより要求された身体動作ごとの達成を、ユーザにフィードバックする。フィードバック部２１４は、ユーザの５感のうち１つ以上の感覚を刺激してフィードバックを行えばよい。ユーザの５感のうち２つ以上の感覚を刺激してフィードバックを行えば、よりユーザの認知能力または運動能力またはその両方を効果的に向上させることができる。

【0042】

すなわちフィードバック部２１４は、目標オブジェクト２４２ａ、目標オブジェクト２４２ｂに対するユーザ２２０の１回毎のリハビリテーション動作の達成をそれぞれ報知する。ここでの報知の方法は、様々な方法が考えられる。表示画面内に「あっぱれ」「お見事」といった文字を一時的に表示させて、目標動作の達成具合をユーザに知らせてもよいし、同様の音声や効果音を用いて、目標動作の達成具合をユーザに教えてもよい。さらには、同時にコントローラ２３４、２３５のうち、目標オブジェクトに接触するための動きを行ったコントローラのみを振動させて、目標動作の達成具合をユーザに通知してもよい。あるいは、達成の報知は、例えば完全な達成、不完全な達成、達成できずといったように段階付けをして、達成の程度、達成具合を報知してもよい。

【0043】

例えば、アバターオブジェクト２４１に含まれるセンサオブジェクトと目標オブジェクト２４２ａ、２４２ｂとの最短距離が所定範囲内になると、目標達成となり、目標オブジェクト２４２ａ、２４２ｂは消滅する。このとき、アバターオブジェクト２４１ａ、２４１ｂに含まれるセンサオブジェクト（例えば、アバターオブジェクト２４１ａ、２４１ｂの先端部中心点を含む球体オブジェクト）と目標オブジェクト２４２ａ、２４２ｂとの最短距離が閾値以下になれば目標の完全達成として例えば「あっぱれ」と表示すると同時に対応する音声を出力してフィードバックする。このような複数の異なる感覚を刺激するフィードバックをマルチチャネルバイオフィードバックと呼ぶ。同時にコントローラ２３４，２３５を振動させてもよいし、嗅覚や味覚に対して刺激を与えてもよい。つまり、フィードバック部２１４は、フィードバックとして、視覚、聴覚、触覚、味覚、および嗅覚の５感うち、いずれかの感覚を刺激することができる。この感覚刺激はいずれか２つを組み合わせてもよいし、３つを以上組み合わせても、あるいは全てを刺激してもよい。点推定を行わせる状況で、このように要求動作が達成されるごとにフィードバックを行うことによって、脳が協調運動障害を修正、改善させるきっかけとなる。すなわち、関節連関及び協調運動障害が改善する。この改善はフィードバック時の５感の刺激数が多いほど効率的に進み、あるいは長期的に改善が保持される。例えば１つの感覚フィードバック時に比べ、２つの感覚フィードバックを行うことで数日かけて改善されていた症状が、時間単位で改善するようになる。あるいは２つの感覚フィードバック時に比べ、３つの感覚フィードバックを行うことで数時間かけて改善されていた症状が、数分単位で改善するようになる。さらに１つの感覚フィードバック時には改善が得られてもすぐに元に戻っていた症状でも、２つの感覚フィードバックを行うことで改善効果が数日間維持されるようになる。あるいは２つの感覚フィードバック時には改善が得られても数日で元に戻っていた症状でも、３つの感覚フィードバックを行うことで改善効果が数週間維持されるようになる。このような本治療の特性を表現するため、医療現場において本治療は「脳再プログラミング療法（brain reprogramming therapy, BRT）」、「脳再編成療法（brain re-wiring therapy, BRT）」、或いは「運動協調療法（motor coordination therapy, MCT）」等とも表現されている。

【0044】

センサオブジェクトと目標オブジェクト２４２ａ、２４２ｂとの距離がどこまで縮まったかによってリハビリテーション動作を３段階以上に分けて評価してもよい。また、目標オブジェクトを同時に仮想空間内に２つ以上生成し、表示してもよい。

【0045】

表示制御部２１３は、レーダスクリーン画像２５０をヘッドマウントディスプレイ２３３の表示画面２４０に表示させる。レーダスクリーン画像２５０は、目標オブジェクト１５２の発生を報知するための報知画像である。レーダスクリーン画像２５０は、発生する目標オブジェクト２４２ａ、２４２ｂの位置が、仮想空間内の基準方向（ここでは椅子にまっすぐに腰掛けたユーザの正面方向となるように初期設定されている）に対して、相対的にどちらの方向であるかを報知する。レーダスクリーン画像２５０は、さらに、発生する目標オブジェクト２４２ａ、２４２ｂの位置が、ユーザ２２０からどの程度離れているかも報知する。なお、報知画像はレーダースクリーン画像に限定されず、文字や矢印、記号やイラスト、光や色の種類、強弱、点滅等によって報知されてもよい。また、報知方法は画像に限定されず、音声、振動または音声、振動、画像のいずれかの組み合わせによって行われてもよい。表示制御部２１３は、ユーザ２２０の頭の向きにかかわらず、レーダスクリーン画像２５０をヘッドマウントディスプレイ２３３の表示画面２４０の中央部分（例えば－５０度～５０度の範囲内）に表示させる。ただし表示部分は中央に限定されず、例えば画面の四隅や上端、下端、左端、右端の任意の場所でも構わない。患者は、レーダースクリーンに表示される目標オブジェクトの位置や角度、数の情報から次に行うべき運動動作の難度を推定することが可能であり、患者によってより困難な動作が予測される場合は関節連関がより顕在化される。すなわち、表示制御部は患者に求める動作の難度を制御するための制御部としても機能していると言うことができる。

【0046】

レーダスクリーン画像２５０は、上方から見たユーザの頭を表わす頭画像２５１と、頭画像２５１の周囲を複数のブロックに分割したブロック画像２５２と、ユーザの視野領域を示す視野領域画像としての扇型画像２５３と、を含む。目標オブジェクトの位置を示す目標位置画像は、ブロック画像２５２のどのブロックが着色または点滅、点灯されるかによって示される。これにより、ユーザ２２０は、自分が向いている方向に対して左側に目標オブジェクトがあるのか、右側に目標オブジェクトがあるのかを、知ることができる。なお、本実施形態では、ブロック画像２５２が固定されて、扇型画像２５３が動く構成としているが、本発明はこれに限定されるものではなく、扇型画像２５３や頭画像２５１を固定しつつ、ブロック画像２５２を頭の向きに応じて動かしてもよい。具体的には頭が左に向けば、ブロック画像２５２が右に回転する構成でもよい。

【0047】

フィードバック部２１４は、表示制御部２１２を介して、メッセージ種別を、リハビリテーション動作の評価に応じて変化させることが好ましい。例えば、センサオブジェクトが目標オブジェクト２４２ａ、２４２ｂの中心に接触すれば、「あっぱれ」と表示し、センサオブジェクトが目標オブジェクト２４２ａ、２４２ｂの中心の周囲部分のみに接触すれば「おみごと」と表示するなどである。この目標オブジェクト２４２ａ、２４２ｂの大きさや、周囲部分の大きさは、設定部２１７により設定可能である。また、センサオブジェクトの大きさも設定部２１７により設定可能である。アバターオブジェクト２４１ａ、２４１ｂに含まれるセンサオブジェクトと目標オブジェクト２４２ａ、２４２ｂとの最短距離が第１閾値以下であれば、目標の完全達成として「あっぱれ」と表示すると同時に対応する音声「あっぱれ」を出力してフィードバックし、アバターオブジェクト２４１ａ、２４１ｂに含まれるセンサオブジェクトと目標オブジェクト２４２ａ、２４２ｂとの最短距離が第１閾値以上第２閾値以下であれば、目標の達成として「おみごと」と表示すると同時に対応する音声「おみごと」を出力してフィードバックすればよい。なお、出力される音声はメッセージを同一のものでなくてもよく、例えば「ピローン」というような非言語的な効果音を用いてもよい。なお、このようにセンサオブジェクトと目標オブジェクトの接触に必要な距離を縮めていくほど、より精度の高い動作が要求されるため、脳はより正確で研ぎ澄まされた動作を運動指令として体に要求する必要がある。上述の通り、この脳のイメージ付けをフィードフォーワードと呼ぶ。すなわち、動作完了のために要求するセンサオブジェクトと目標オブジェクトの距離が小さいほど、より強力なフィードフォーワードが必要があり、このことによってユーザの運動や認知、感覚の負荷レベルを連続的に調整できる。

【0048】

フィードバック部２１４は、目標オブジェクト２４２ａ、２４２ｂに仮想的に触れたユーザに対して、例えば五感（視覚、聴覚、触覚、味覚、嗅覚）のうち２つ以上の感覚を刺激するフィードバックを、センサオブジェクトが目標オブジェクト２４２ａ、２４２ｂの中心から所定距離内に入ったタイミング、または、センサオブジェクトが目標オブジェクト２４２ａ、２４２ｂと接触したタイミングとほぼ同時に行う（リアルタイムマルチチャネルバイオフィードバック、又は即時的多信号生体フィードバックと呼ぶ）。それらのタイミングからフィードバックまでの遅延は、例えば１秒以内であれば効果が高く、ユーザの動作タイミングとフィードバックのタイミングとの間隔が近ければ近いほど（遅延が小さいほど）効果が大きい。フィードバック部２１４は、「あっぱれ！」という画像により、ユーザの視覚を刺激するフィードバックを行ないつつ、同時に、スピーカから出力する音声あるいは効果音により、ユーザの聴覚を刺激するフィードバックを行なう。五感刺激に対する課題達成の報知は、動作種別に応じて等、いかように組み合わせて行ってもよい。

【0049】

さらに、フィードバック部２１４は、「あっぱれ！」という画像でユーザ２２０の視覚を刺激するフィードバックと、スピーカから出力する音声でユーザ２２０の聴覚を刺激するフィードバックと、コントローラ２３４が振動することでユーザ２２０の触覚を刺激するフィードバックとを同時に出力させてもよい。また、フィードバック部２１４は、「あっぱれ！」という画像でユーザ２２０の視覚を刺激するフィードバックと、コントローラ２３４が振動することでユーザ２２０の触覚を刺激するフィードバックとの２種類のフィードバックのみを同時に出力させてもよい。あるいは、フィードバック部２１４は、「あっぱれ！」という音声でユーザ２２０の聴覚を刺激するフィードバックと、コントローラ２３４が振動することでユーザ２２０の触覚を刺激するフィードバックとの２種類のフィードバックのみを同時に出力させてもよい。

【0050】

このようにコントローラ２３４、２３５を動かすユーザ２２０の動作がリハビリテーション動作であり、ユーザ２２０が行なうべき１回のリハビリテーション動作を促す目標オブジェクトの表示をタスク、あるいは課題と呼ぶ。１つのタスクを表わす情報（タスクデータ）として、目標オブジェクトの出現方向（椅子の正面方向に対して右９０度、右４５度、正面、左４５度、左９０度）、目標オブジェクトまでの距離、形状（大きさ）、出現位置（ユーザからの距離及び角度）、出現間隔（時間間隔）、落下または上昇等の移動速度、大きさ、色、左右どちらのコントローラで取得すべきか、同時に出現する目標オブジェクトの数、センサオブジェクトの大きさなどが含まれる。つまり、タスクデータは、目標オブジェクト２４２ａ、２４２ｂの仮想空間２４０における属性としての、移動速度、表示数、大きさ、表示位置および表示間隔の少なくとも１つを情報として含む。ユーザ２２０から目標オブジェクト２４２ａ、２４２ｂの落下位置までの奥行き方向の距離を連続的に設定してもよいし、例えば３段階のいずれかに設定することもできる。例えば、ユーザ２２０の直ぐそばに落下させたり、ユーザ２２０が大きく前のめりにならないと届かない位置に落下させたり、と変更することができる。これにより、ユーザに与える運動負荷、および空間認知能力、あるいは空間把握能力に対する負荷を制御することができる。

【0051】

評価更新部２１５は、ユーザ２２０が達成したタスクの量および質に応じて、ユーザのリハビリテーション動作を評価し、ポイントを加算する。ここで達成したタスクの質とは、「あっぱれ」か「おみごと」か、つまり、どこまで目標オブジェクトにアバターオブジェクトを近づけることができたかを含む。評価更新部２１５は、達成したタスクに対して、それぞれ、異なるポイント（遠いオブジェクトには高いポイント、近いオブジェクトには低いポイント）を付与する。評価更新部２１５は、積算されたポイントに応じて、タスクを更新することができる。例えば、課題達成率（目標達成数／課題数）などを用いてタスク（目標オブジェクトの属性）を更新してもよい。評価更新部２１５は、動作検出部２１１が検出したリハビリテーション動作と、表示制御部２１２によって表示された目標オブジェクトが表わす目標位置とを比較して、ユーザ２２０のリハビリテーション能力を評価する。具体的には、動作検出部２１１が検出したリハビリテーション動作に対応して移動するアバターオブジェクト２４１ａ、２４１ｂと目標オブジェクト２４２ａ、２４２ｂとが重なったか否かを、３次元仮想空間中の位置の比較により決定する。これらが重なれば、一つのリハビリテーション動作をクリアしたものと評価し、ポイントを加算する。表示制御部２１２は、目標オブジェクト２４２ａ、２４２ｂを、奥行き方向について異なる位置（例えば３段階の位置）に出現させることができる。評価更新部２１５は、それぞれ、異なるポイント（遠いオブジェクトには高いポイント、近いオブジェクトには低いポイント）を付与する。

【0052】

評価更新部２１５は、積算されたポイントに応じて、目標課題を更新する。例えば、課題達成率（目標達成数／課題数）などを用いて目標課題を更新してもよい。

【0053】

タスクセットデータベース２１６は、複数のタスクのセットを格納している。タスクとは、ユーザが行なうべき１回のリハビリテーション動作を示す。具体的には、１つのタスクを表わす情報として、どの位置にどのような速度で、どのような大きさの目標オブジェクトを出現させたか、その際、アバターオブジェクトはどのような大きさだったかなどを格納している。タスクセットデータベース２１６は、そのような複数のタスクをどのような順番でユーザに提供するかを決めるタスクセットを格納している。例えば、病院毎のテンプレートとしてタスクセットを格納してもよいし、実行したタスクセットの履歴をユーザごとに格納してもよい。リハビリテーション支援装置２１０は、インターネットを介して他のリハビリテーション支援装置と通信可能に構成されていてもよく、その場合、１つのタスクセットを、同じユーザが複数の場所で実行することもできるし、様々なテンプレートを離れた複数のユーザ同士で共有することもできる。

【0054】

設定部２１７は、左目標オブジェクト２４２ａの生成と、右目標オブジェクト２４２ｂの生成とが交互に行われるように設定することが可能であり、設定部２１７はその設定に応じて表示制御部２１３に指示を送る。

【0055】

設定部２１７は、左目標オブジェクト２４２ａの、仮想空間２４０内における奥行方向の生成位置および、右目標オブジェクト２４２ｂの、仮想空間２４０内における奥行方向の生成位置をそれぞれ設定可能である。

【0056】

目標オブジェクトの発生タイミングと、その目標オブジェクトの垂直方向の移動速度との両方を制御することにより、ユーザのリハビリテーション動作が必ず左右交互となるように制御する。つまり、最もシンプルな方法では、同時に左右の目標オブジェクトを発生させることはなく、右の目標オブジェクトへのリーチングが検知された後、左の目標オブジェクトを発生させる。しかし、これに限定されず、様々な制御方法が可能である。つまり、複数の目標オブジェクトを同時に発生させつつ、その移動速度が右→左→右→左の順に小さくなるように変えることで左右交互の運動を促してもよい。例えば、右オブジェクトへのリーチングが検知された後、右オブジェクトと左オブジェクトを同時に発生させて、あるいは、右オブジェクトを先に発生させて、右オブジェクトのスピードを速くし、左オブジェクトを追い越す動作をさせてもよい。このようにすれば脳に高い負荷をかけることができる。要求部、或いは制御部が、ユーザのリハビリテーション動作が左右交互となるように制御すればよい。

【0057】

一方、右側のみに麻痺がある場合や左の上半身を積極的にリハビリしたい場合など、右の目標オブジェクトを下方で、左の目標オブジェクトを比較的上方でリーチングさせたい場合、右の目標オブジェクトをゆっくりのスピードで発生させたあと、間隔をあけて左の目標オブジェクトを速いスピードで発生させてもよい。つまりリハビリテーションを行いたい身体の上下方向位置に応じて（リーチングさせたい目標オブジェクトの位置に応じて）、目標オブジェクトの発生タイミングおよびスピードの少なくとも一方を制御する。膝や下半身のリハビリテーションの場合、低い位置でリーチングさせるように目標オブジェクトの発生タイミングや速度を制御する。また、認知負荷を上げたい場合、左→右→右の順で発生させるが、１つ目の目標オブジェクトだけゆっくり移動させ、２発目、３発目を速いスピードで移動させれば。結果的に右、左、右の順番にリーチングさせることが可能となる。

【0058】

このようにして脳内の交通整理（rewired）をおこなうことで、慢性疼痛や足ムズムズ症候群（大脳基底核の異常）等の現代医学では治療が難しい疾患の症状を改善させることが可能となる。

【0059】

また、設定部２１７は、目標オブジェクト２４２ａ、２４２ｂの仮想空間２４０における属性として、移動速度、表示数、形状、色、大きさ、表示位置（座標情報等）および表示間隔の少なくともいずれか１つを設定する。設定部２１７は、目標オブジェクト２４２ａ、２４２ｂの発生を報知したタイミングから、目標オブジェクト２４２ａ、２４２ｂを発生させるタイミングまでの遅延時間を設定してもよく、これによりユーザ２２０に対して与える認知的な負荷を制御することができる。つまり、ユーザは、レーダスクリーン画像２５０などによって目標オブジェクトが発生する仮想空間内の位置（ヘッドマウントディスプレイをどの方向に向ければ表示されるかを表す位置）を知ってから、実際に目標オブジェクトが発生するまでの時間、自分が行なうべき動作を継続的に記憶保持しなければならず、この「記憶時間」が、ユーザにとっての認知負荷となる。また設定部２１７は、「目標オブジェクト１５２を発生させるタイミングまで」ではなく、「目標オブジェクト１５２がユーザ２２０の届く範囲に接近するまで」の時間を変更することにより、認知的な負荷を制御してもよい。設定部２１７は、目標オブジェクト２４２ａ、２４２ｂ以外の背景画像２４３をヘッドマウントディスプレイ２３３に表示させることにより、ユーザ２２０に対して認知的な負荷を与えてもよい。なお、認知負荷を変更する場合、ユーザに対してあらかじめ認知負荷を上げるまたは下げることを通知することが望ましい。通知方法は視覚的に文字や記号を用いて行っても、音声によって行っても、例えば肩や肘、腕や足を叩くなど、体の一部に触れるような形で行ってもよい。

【0060】

設定部２１７は、ユーザが身体動作を行う身体部位とは異なる関節の動き、つまり関節連関の程度に応じて身体動作の難度を制御する。制御部としての設定部２１７は、点推定パラメータとして目標オブジェクトの大きさ、ユーザからの距離、角度、スピード、背景の有無、音楽の有無、視認補助画像の大きさを制御する。例えば、音楽の有無によって関節連関が大きく変わる場合がある。音楽の種類によっても発生する関節連関の大きさが変化する。例えば、小鳥のさえずり（認知の悪い人にはこれでも影響が大きい）に比べてリズム音楽の繰り返しは、より脳が情報をバックグラウンド処理するための作業量、すなわち認知負荷が高くなるため、関節連関が大きく出る。また、背景情報の複雑性も同様に、脳が情報をバックグラウンド処理するための作業量、すなわち認知負荷に大きく関連する。例えば、何も存在しない三次元空間なんらかの背景や景色があった方が認知負荷は大きく、さらにその中に動く動物や物体が存在するほど、そしてその動く動物や物体が画面のより広範囲に出現するほど認知負荷が大きくなり、関節連関がより顕著に出現する。つまり、基本的に点推定の精度を上げようとすればするほど、あるいは音や背景情報といった脳のバックグラウンド処理の負荷が高まるほど点推定に使える脳の予備量が減るため、関節連関が強く出てくることがわかっている。

【0061】

図３Ａは、オペレータが操作するための画面（操作パネル）３００を示す図である。設定部２１７が、このような操作パネル３００を表示させる。本実施形態では、直感的な操作パネル３００によって点推定パラメータ（目標オブジェクトまでの距離、その高さ、方向、目標オブジェクトの大きさ、視認補助画像の大きさ、移動速度、感度＝センサオブジェクトの大きさ、発生間隔、背景情報の種類や有無、効果音やBGMの種類や有無）を設定することで、リハビリテーション支援用のタスク作成を行う。マニュアルモード（タスク一つ一つについて、点推定パラメータを設定して課題ごとに操作する方法）と、テンプレートモード（複数のタスクセットに点推定パラメータがあらかじめ設定されている方法）、あるいは機器に自動的にタスクを生成させるお任せモード（オートモード）のいずれか、あるいはそれらを組み合わせて行うことができる。なお、操作パネルからは、ユーザの基本情報から各種の認知および運動機能評価指数、検査結果の確認、テンプレートの作成やオートモードの設定や指示なども行うことができる。

【0062】

操作パネル３００を表示するディスプレイは、リハビリテーション支援装置２１０に接続された外部ディスプレイでもよいし、リハビリテーション支援装置２１０に内蔵されたディスプレイでもよく、デバイスを問わない。操作パネル３００は、ユーザ視野表示領域３０１と各種点推定パラメータ設定領域３２１～３２４とスコア表示領域３０３と再センタボタン３０５とＢＧＭコントロールボタン３０７を含んでいる。図３Ａは、説明のために、実際のユーザ２２０の様子を表わした領域３０６を含んでいるが、操作パネル３００は、領域３０６を含む必要は無い。

【0063】

ユーザ視野領域３０１は、ヘッドマウントディスプレイ２３３に実際に表示されている画像を表示している。ユーザ視野領域３０１の中には、仮想空間内の基準方向が表示される。図２で説明したとおり、ユーザ視野領域３０１には、その中央部分（例えば－５０度～５０度の視野角範囲）にレーダスクリーン画像２５０が表示されている。そして、次に現われる目標オブジェクト２４２ａ、２４２ｂの位置が、仮想空間内の基準方向に対して、相対的にどちらの方向であるかを表わしている。この例では、ブロック画像２５２の着色位置により、仮想空間内の基準方向に対して左方向の一番遠い位置に、目標オブジェクト２４２が現われることを示している。そして、扇型画像２５３の位置および頭画像２５１の向きにより、既にユーザは、左方向に向いていることが分かる。

【0064】

また、各種パラメータ設定領域３２１～３２４は、タスクを規定する複数のパラメータを設定するための画面である。設定部２１７は、各種パラメータ設定領域３２１～３２４に対する入力を、不図示の入力デバイスから受け付けることもできる。入力デバイスは、マウスやテンキー、キーボードでもよいし、各種コントローラやゲーム用のジョイスティック、タッチパネル等でも良く、その技術構成を問わない。

【0065】

各種パラメータ設定領域３２１～３２４は、左右の目標オブジェクトの大きさを決める入力領域３２０と、視認補助画像の大きさを決める入力領域３２１と、アバターオブジェクト２４１ａ、２４１ｂのセンサ領域の大きさを決める入力領域３２２と、目標オブジェクトの移動スピードを決める入力領域３２３と、次に現われる目標オブジェクトの位置を決める入力領域３２４とを含む。さらにホットキーやテンキー等の各種パラメータ外部入力デバイスによる目標オブジェクトの出現位置の操作を受け付けるか否かを設定するチェックボックス３２５を有している。

【0066】

入力領域３２０、３２１は、右と左のそれぞれにおいて、ユーザに目標オブジェクトの位置を見やすくするための視認用オブジェクトの半径（視認サイズ）と、アバターオブジェクト２４１ａ、２４１ｂと反応する目標オブジェクトの半径（評価サイズ）とを設定可能である。つまり、図３Ａの例では、ユーザには半径２０ｃｍの円が見えているが、実際にはその円の中央に位置する半径１０ｃｍのボールにタッチしなければタスクを完了したことにならない。視認サイズが小さければ、ユーザは目標オブジェクトを見つけるのが困難になる。視認サイズを大きくすれば、ユーザは目標オブジェクトを見つけやすくなる。評価サイズを大きくすれば、アバターオブジェクト２４１ａ、２４１ｂのずれの許容量が大きくなる。評価サイズを小さくすれば、アバターオブジェクト２４１ａ、２４１ｂのずれの許容量が小さくなり、よりシビアにリハビリテーション動作を評価できる。これらの視認サイズと評価サイズとを一致させることもできる。これらの設定により、フィードフォーワードの精度、すなわちユーザの脳が行う情報処理の精度を定量的に変化させる。身体機能（上肢機能や歩行機能、体幹機能、バランス機能）、認知機能（空間認知や注意機能を含む）、感覚機能（内耳、前庭系や触覚、温痛覚、位置覚、深部感覚を含む）に対する治療アプローチ、関節連関の顕在化の程度をコントロール可能となる。

【0067】

入力領域３２２では、アバターオブジェクト２４１ａ、２４１ｂの左右のセンササイズ（センサオブジェクトのサイズ）をそれぞれ設定できる。センササイズが大きければ、手の位置が目標オブジェクトから大きくずれていてもタスクを達成したことになるため、リハビリテーション動作の難易度は下がる。逆にセンササイズが小さければ、手を目標オブジェクトの中央領域（評価用サイズ）に、正確に動かさなければならないため、よりリハビリテーション動作の難易度が上がる。図３Ａの例では、センササイズは左右それぞれ２ｃｍとなっている。この要素もフィードフォーワードの精度、すなわち脳に対する情報処理精度を定量的に変化させ、身体機能（上肢機能や歩行機能、体幹機能、バランス機能）、認知機能（空間認知や注意機能を含む）、感覚機能（内耳、前庭系や触覚、温痛覚、位置覚、深部感覚を含む）に対する治療アプローチ、関節連関の顕在化の程度をコントロール可能としている。

【0068】

入力領域３２３では、目標オブジェクト２４２ａ、２４２ｂが仮想空間内で動く速度を左右それぞれで規定できる。この例では４５ｃｍ／ｓの速度に設定されている。

【0069】

入力領域３２４は、次のタスクの位置（タスクまでの距離と角度）を入力するための画像であり、レーダスクリーン画像２５０を拡大した形状となっている。チェックボックス３２５がチェックされているので入力デバイスによる操作が行える状態である。入力領域３２４における複数のブロックのいずれかをクリックまたはタップする操作が行なわれた場合、あるいはそれに対応する操作が入力デバイスによって行われた場合に、指定されたブロックの位置に対応する仮想空間内の位置に、目標オブジェクト２４２ａ、または目標オブジェクト２４２ｂを発生させる。

【0070】

つまり、図３Ａの例では、ユーザ２２０は仮想空間の中で、２ｃｍのセンサ部分を含むアバターオブジェクト（コントローラ）を、左側の遠い場所において４５ｃｍ／ｓの速度で落下する半径１０ｃｍの目標オブジェクト（ボール）にタイミング良く接触させることがタスクとなる。図３Ａは、ユーザ視野領域３０１に目標オブジェクト２４２ａが出現した状態を示している。この状態で、領域３０６に示されているようにユーザ２２０が左腕を伸ばすと、ユーザ視野領域３０１に、アバターオブジェクト２４１ａが現われる。目標オブジェクト２４２ａの周囲には、目標オブジェクト２４２ａの視認性をよくするための視認用オブジェクト３１２が表示されている。入力領域３２１で設定した視認サイズとは、このドーナツ形状の視認用オブジェクト３１２の半径を示している。なお、目標オブジェクトおよびアバターオブジェクトは、それぞれ左右どちらのものに対応してもよく、体の左側を仮想空間内で同側である左側に動かす動作を促してもよいし、右側に動かす動作を促してもよい。

【0071】

アバターオブジェクト２４１ａが視認用オブジェクト３１２に触れた時点では、目標オブジェクト２４２ａは消滅せず、タスクの完全な達成とはならない（不完全な達成であり、一定の点数は入りgood評価される）。目標オブジェクト２４２ａ、２４２ｂにアバターオブジェクト２４１ａ、２４１ｂが触れて初めてタスクの完全な達成(perfect評価)となる。

【0072】

一方、スコア表示領域３０３に、それぞれの位置におけるタスクの合計回数および、そのタスクを何回達成したかを示す回数点数が示されている。点数は分数様に表記してもよいし、パーセント表示でも、またはそれらの組み合わせ等でもよい。評価部２１４は、１つのタスクセットで決められた一連のリハビリテーション動作の後、このスコアリスト３３２の値を用いて、リハビリテーション評価ポイントを導き出す。

【0073】

再センタボタン３０５は、ユーザ２２０の位置に合わせて仮想空間を再構築するための再構築指示をオペレータから受け付けるボタンである。再センタボタン３０５が操作されると、表示制御部２１２は、その瞬間のヘッドマウントディスプレイ２３３の位置を原点とし、その瞬間のヘッドマウントディスプレイ２３３の向きを基準方向とする仮想空間を再構築する。ＢＧＭコントロールボタン３０７を操作することにより、タスク実行中の背景音をオンまたはオフすることができる。背景音をなくすことで、タスクの負荷を軽減して、体の動きに集中させることができる。一般に、関節連関がでたユーザにおいて、背景音をなくせば、タスク中の関節連関が収まる傾向にある。逆に、関節連関が出ないユーザに対して背景音をオンにして、あえて関節連関を出現させることもできる。
表示制御部２１３は、レーダスクリーン画像２５０に加えて、情報バー３１０をヘッドマウントディスプレイ２３３の表示画面２４０に表示させてもよい。情報バー３１０は、プレイヤー名３１１やタスク達成度３１２やプレイ開始後の経過時間３１３などを表示する。さらに情報バー３１０は仮想空間内の地平線２４４と平行である。患者の頭位や体軸がゆがむと、ヘッドマウントディスプレイ２３３の傾きに追従するレーダスクリーン画面２５０と情報バー３１０との平行関係が崩れる。このため、患者は視覚補助的に内耳情報を補正することが可能であり、セラピストも患者の体軸のゆがみに気づきやすい。図３Ａでは、頭位が右側に２０度傾いている際の映像を例示した。このようにヘッドマウントディスプレイ２３３のユーザーインターフェースは患者がリハビリに没頭できるための要素に加えて、医学的な実利を兼ね備えた設計となっている。
また、図３Ｂは操作パネル３００の他の例を示す図である。関節連関メッセージ３０８に示すように、関節連関の有無および大きさをカメラなどで検出してオペレータに文字や画像、色の変化として通知してもよい。上述したように、ユーザ画像３０６上にヒートマップを重畳表示して、関節連関が発生している可能性の高い画像領域を赤く示しても良い。

【0074】

関節連関に対する点推定の精度制御の流れは以下の通りである。
（１）デフォルト設定でのリハビリテーション動作を行う。
（２）関節連関が大きすぎる（ガニ股になる角度や距離、肩のねじれ、腰のねじれ、頭のねじれなどが閾値を超えている）
（３）点推定の要求難度を下げる（点推定パラメータを変更）
（４）関節連関が適度に小さくなる
（５）左右交互にリハビリテーション動作を繰り返す
（６）関節連関がなくなる
（７）点推定の要求精度を上げる（点推定パラメータを変更）
（８）関節連関が適度な大きさになる
（９）（５）に戻る
なお、（５）において、ユーザの体に触れたり、声掛けを行ったりして関節連関を抑えてもよい。また（７）において、声掛けでユーザに負荷を与えて、点推定の要求精度を上げることと同様の効果を図ってもよい。ユーザの体に触れることにより、より早くユーザの関節連関が解けることが分かってきている。
以上の通り、ユーザの直接の視界を遮断して点推定をさせ、目標オブジェクトを介した強力な運動指令により深層筋が収縮して全身のアライメントを整える。その際、関節連関という脳神経のほころびを見つけて、点推定の要求精度（各種パラメータ）を制御しながら、関節連関が静まるまでリハビリテーション動作を繰り返す。
複数の関節連関が現れている場合には、どの関節連関をメインに修正するかを判断する。例えば大きく動いた膝（股関節）を最初に修正した上で、次の関節（例えば足首関節の不随意運動で足の裏が内側に向く）に移る。
関節連関をリカバーさせることを目標にしてリハビリテーション動作を行えば、非常に効果的にユーザの認知運動能力を向上させる（脳のほつれをほぐす）ことが可能となる。関節連関が、治療の指針となる。脳に刺激（点推定要求）を入れて、関節連関の反応を見て治療方針を判断する。関節連関が現れている身体部位に積極的に接触することにより、効果的な治療が可能となる。

【0075】

図４Ａは、タスクセットデータベース２１６に記憶されたタスクテーブル４００を示す図である。タスクテーブル４００には、タスクＩＤに紐付けて、時間（タスクの発生タイミング）４６１、一つ前のタスクが終了してからのタスク間隔４６２、タスク種別４６３、タスク角度４６４、タスク距離（強度）４６５が記憶されている。さらにタスクテーブル２６０には、タスクＩＤに紐付けて、目標オブジェクトのスピード４６６、パーフェクト判定（あっぱれ評価）の基準サイズ４６７、グッド判定（おみごと評価）の基準サイズ４６８、センサオブジェクトの大きさ４６９、タスクの達成結果などが記憶されている。これらに加えて、タスクごとに、タスク発生報知からタスク発生までのディレイタイム（所定時間）を設定してもよい。図４Ｂは、タスクセットデータベース２１６に記憶されたタスクテーブル４００の他の例を示す図である。図４Ｂに示すように関節連関に関するデータ４７１を蓄積してもよい。

【0076】

図５～図７は、本実施形態にかかるヘッドマウントディスプレイ２３３における表示の一例を示す図である。このような背景情報の追加、或いは実施方法の一つとしての背景音の追加はともに脳の情報処理の負荷となり、関節連関を顕著化させる。図５では、江戸時代の町並みを表す背景画像５０１において、目標オブジェクトとして印籠５１１を示す画像が表示されている。さらに、印籠５１１の下には、ユーザが守るべきアイテムとして千両箱５１３が表示されており、忍者５１５が奥の方から徐々に近づいてくる構成となっている。忍者５１１のスピードは操作パネル３００の入力領域３２３で設定された速度となる（ここでのスピードは制限時間と同義となる）。印籠５１１には、視認補助画像としての円５１２が表示されている。忍者５１５が千両箱５１３に到達するまでに印籠５１１をセンサオブジェクト（アバターオブジェクト２４１ａ、２４１ｂの先端中心）で触ればタスク達成となる。円５１２は、赤と青の２種類が用意されており、赤い円５１２で囲まれた印籠５１１には右手に持ったコントローラ２３５に対応する、右側の赤いアバターオブジェクト２４１ｂを操作して接触させることがタスクとなる。一方青い円５１２で囲まれた印籠５１１に対しては、左手に持ったコントローラ２３４に対応する、左側の赤いアバターオブジェクト２４１ａを操作して接触させることがタスクとなる。

【0077】

印籠５１１は、操作パネル３００の入力領域３２４で設定した位置（奥行きおよび角度）に表示される。印籠５１１は、ユーザが仮想空間内でアバターオブジェクト２４１ａ、２４１ｂをタッチさせるまでは、位置が変わらない。つまり空間に固定された目標オブジェクトである（水平に体を伸ばすことを要求するため水平タスクとも呼ぶ）。このような固定された目標オブジェクトは、小脳性運動失調や複視、内耳機能障害などのような疾患のリハビリとして非常に効果的である。つまり体の動かし方を忘れている患者に対して、フィードフォワードにより、限定した体の動きのイメージを脳に焼き付けさせることができる。印籠５１１の奥行方向の距離を遠くすることにより、運動強度を変えることができる。さらに、マルチチャネルバイオフィードバックを組み合わせることにより、大きく運動能力、身体機能、認知機能、感覚機能が改善する。またこのような水平タスクによれば脳皮質の再編成を促すことによって慢性疼痛の改善も図ることができる。あるいはケモブレインと呼ばれる認知機能障害や、抗がん剤を摂取したがん患者の位置覚が神経障害により低下する感覚機能障害、新型コロナ（COVID-19）感染症に伴う後遺症症状等を回復させることもできる。目標オブジェクトがでる場所をあらかじめ教えて、ヒントを与えて認知負荷を下げてもよい。言語的インフォームよりも、体を触ることによる触覚インフォーム、複数回繰り返しの言語的インフォームやその組み合わせも認知負荷をさげるのに有効である。言語的インフォームの方法も、より端的で命令形に近いシンプルな指示を行うことで認知負荷を下げて行ってもよいし、あるいは例えば「青色だから？（右手で取るように）」等といったように、質問形式でより複雑な指示の形をとってもよいし、または「２で割り切れる数を言ったときは右手でとりましょう」等と計算等の認知課題を含む形で言語的インフォームを行ってもよい。なお、印籠５１１の発生する横方向の位置や奥行きのみではなく、高さを設定可能に構成してもよい。

【0078】

図６は、目標オブジェクトが垂直に移動するタイプのタスクを行う画面の一例（垂直タスク、あるいは落下タスク）を示す図である。図６では、畑を表す背景画像６０１において、目標オブジェクト出現のトリガーとなるトリガーオブジェクト６０２として、農家を表す人の画像が表示されている。つまり、表示制御部２１３は、目標オブジェクト６０３の発生を報知するための報知画像として、トリガーオブジェクト６０２を表示する。トリガーオブジェクト６０２が、芋の形をした目標オブジェクト６０３を上方に投げてから所定時間後に、図７のように画面上から大きな芋の形をした目標オブジェクト７０３が出現する。落下してきた目標オブジェクト７０３を、ザルの形をしたアバターオブジェクト７０２を動かして受け止めることで、タスク達成となる。左右のアバターオブジェクト７０２は、コントローラ２３４、２３５の動きに連動して画面上を移動する。

【0079】

設定部２１７は、トリガーオブジェクト６０２が目標オブジェクト６０３を上方に投げて、目標オブジェクト６０３の発生を報知したタイミングから、目標オブジェクト７０３を発生させるまでの遅延時間を設定することにより、ユーザに与える認知的な付加を調整することができる。遅延時間が長いほど、記憶を保持する期間が長くなり脳の情報処理の負荷が増す。なお、トリガーオブジェクト６０２の動きと連動させて、レーダーチャート型の報知画像２５０でも同様のタイミングで目標オブジェクトの発生を報知したり、音声による報知を組み合わせたりしてもよい。

【0080】

このように、設定部２１７は、図２のような地平線のみの背景のタスクだけではなく、図５、図６のような、情報量の多い背景のタスクで、ユーザに対して認知的な負荷を与えることができる。つまり、目標オブジェクト６０３が出現したことおよび目標オブジェクト７０３が落下してくるであろう位置の記憶を困難にさせて、より実生活で必要な認知負荷に近い負荷をリハビリテーションのユーザに与える。

【0081】

特に設定部２１７は、タスクのモードを変えて、背景画像３０１の少なくとも一部を時間と共に変化させることにより、ユーザ２２０に対して背景画像を脳内で処理するための認知的な負荷を与える。図６の例では、例えば、背景画像６０１の中で、雲６０４を移動させたり、草木６０５を揺らしたり、あるいは、目標オブジェクトと関係のない動物（不図示）を登場させたりしてもよい。これにより、ユーザ２２０に対して、目標オブジェクト６０３に対する集中を妨げて、より目標オブジェクト６０３が落下してくるであろう位置の記憶を困難にさせることができる。より専門的には、背景画像にタスクとは無関係の情報を表示することにより、目標オブジェクトに集中し難い環境を用意し、注意障害（より具体的には選択性注意障害、配分性注意障害、転換性注意障害、持続性注意障害）を意図的に惹起することで記憶を困難にさせて、認知負荷をコントロールしていると言える。

【0082】

図８は、本実施形態にかかる表示画面２４０における表示の他の例（垂直タスク、あるいは落下タスク）を示す図である。図８では、森のような背景画像８０１中に、猿を表したトリガーオブジェクト８０２と、りんごを表した目標オブジェクト８０３とが表示されている。猿を表したトリガーオブジェクト８０２が、りんごを表した目標オブジェクト８０３を木から落として、ユーザに近づいてきた目標オブジェクト８０３を、ザルを表したアバターオブジェクト８０４で受け止めることでタスク達成となる。ここでも、設定部２１７は、トリガーオブジェクト８０２が木を揺らして、目標オブジェクト８０３の発生を報知したタイミングから、所定時間経過後に目標オブジェクト８０３の落下を開始させることにより、注意障害を惹起しながらユーザ２２０に対して認知的な負荷を与える。

【0083】

さらに、設定部２１７は、少なくとも２～５個の目標オブジェクト８０３を３次元仮想空間内に同時に存在させて、表示画面２４０に表示させることにより、ユーザ２２０に対してより認知的に極めて強い負荷を与えることができる。言い換えれば、設定部２１７は、３次元仮想空間内において少なくとも２個の目標オブジェクト８０３を左右方向に異なる位置に発生させる。

【0084】

特に、目標オブジェクト８０３の移動方向（図８では落下方向）に対して異なる方向（図８では左右方向）の複数の位置に少なくとも２個の目標オブジェクト８０３を発生させれば、より一層の認知負荷を与えることができる。つまり、ユーザ２２０は上下方向の移動と、左右方向の発生位置の違いと、さらには奥行方向の落下位置の違いも考慮してコントローラ２３４，２３５を移動させなければならず、空間認知能力も試されていることになる。このように、タスクの所定時間の変更に加えて、トリガーオブジェクトを含む報知画像や報知音声に含まれる情報の種類や数、大きさ、空間的な広がりや位置、量等を調整することで、記憶保持すべき情報の複雑性、すなわちユーザに対して脳が情報処理すべき認知負荷を定量的に調整、コントロールすることが可能となる。

【0085】

評価更新部２１５は、目標オブジェクトが表わす３次元的な目標位置に対して、アバターオブジェクトがタイミング良く正確に到達したか否か、および、目標オブジェクトの発生報知から発生までの時間間隔と数、および背景画像の注意障害を惹起させる負荷の程度等の情報を用いて、ユーザの認知能力を評価する。

図２Ａ、図５～図８に示したような様々なモード（表示画面）のうち、いずれをユーザに実行させるかによっても、点推定の要求精度は異なる。例えば、図２Ａのように背景がない場合に比べて、図５→図８→図６の順に点推定の要求精度は上がる。また上述したように背景音によっても、点推定の要求精度は変わり、関節連関に影響がでる。

【0086】

図９は、リハビリテーション支援装置２１０における処理の流れを示すフローチャートである。ステップＳ９０１において、キャリブレーション処理として、リハビリテーション動作の目標をユーザに合わせて初期化する。具体的には、各ユーザに最初にキャリブレーションとして行動可能範囲を取得する作業を行ってもらい、その範囲を初期値に設定した上で目標をユーザに合わせて初期化する。この初期値は、ユーザの動作可能範囲に合わせて設定してもよいし、治療を提供するセラピストがユーザの身体認知機能や目標とする治療効果を加味して決定してもよい。

【0087】

次に、ステップＳ９０３において、右側タスク（つまり表示制御部２１２による目標オブジェクトの表示およびアバターオブジェクトによる達成の評価）を開始する。

【0088】

ステップＳ９０５において、左側タスク（つまり表示制御部２１２による目標オブジェクトの表示およびアバターオブジェクトによる達成の評価）を開始する。

【0089】

ステップＳ９０９においてタスクの達成度を取得して、ポイントを加算する。なお、片側のタスク発生後、その達成の評価を待たずに次の反対側のタスクを発生させ、これらの処理を並列処理してもよいし、時差処理してもよい。また、最初のタスク開始は左右どちら側からでもよく、最後のタスクも左右どちら側でもよい。すなわち、ここに記載のフローは一例に過ぎず限定されるものではない。

【0090】

＜データ＞
図１０は、本実施形態にかかるリハビリテーション支援システム２００を用いた結果を示す図である。

【0091】

症例はn=13で、平均 60±21歳、男性が7名（53.9%）、脳血管疾患患者が5名（38.4%）、整形外科疾患患者が4名（30.8%）、神経変性疾患患者が4名（30.8%）という構成である。全ての患者は通常のリハビリテーションを半年以上受けており、これ以上改善が難しいと言われた人ばかりである。この患者群に対して、最初２０分間患側を集中的にトレーニングするリハビリテーションを実施しても、STEF、TUG、TMT-Aは統計学的有意には改善しなかった（図１０の通常介入２０分のグラフ）。ここで、STEF（Simple Test for Evaluating Hand Function）は上肢機能検査である。TUG（Timed Up and Go test）は歩行機能、あるいは体幹機能やバランス機能の総合的な検査指標である。TMT-A（Trail-Making Test-A）は認知機能検査の一種である。STEFは数字が大きいほど、TUGとTMT-Aは数値が低い程成績がよい指標である。全てのデータは平均±標準偏差で示されている。統計学的解析にはペアを考慮した平均の比較試験であるpaired-t testを用いており、p＜0.05を統計学的に有意差有りの基準とした。

【0092】

一方で、本実施形態にかかるシステム２００を用いて患側、健側を問わず、左右交互に奥行を意識したリハビリテーションを行わせることで、STEF、TUG、TMT-Aが全て改善した。

【0093】

すなわち、本実施形態のように、この奥行きを意識した左右交互のトレーニングでは上肢機能のみならず、体幹機能やバランス機能の改善から歩行機能（身体機能）が改善し、さらに空間認知把握能力や注意機能が改善することが判明した。なお、例えばSTEFやTUG、TMT-Aの改善には内耳、前庭系や触覚、温痛覚、位置覚、深部感覚の改善も影響していることが推察された。このように、脳の可塑性を最大限に刺激し、脳の運動学習、認知学習、感覚学習を最大限効率化するためには左右交互に奥行きを意識したリハビリを行わせることが効果的であることを証明した。なお、その他の実験結果などから、本願出願内容の治療は、左右交互に実施した時の方が、そうでない場合に比べて改善が早いことが判明している。非特許文献１や図２Ｂで示されている運動野の左右対称の分布は、本事実を裏付ける知見だと考えることもできる。
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるサーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の技術的範囲に含まれる。

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2023-09-25

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ユーザの身体の全部または一部を見えなくする遮断部と、
前記ユーザの身体の一部または前記ユーザが操作する物体と、目標オブジェクトとを重ね合わせるような身体動作を前記ユーザに要求する要求部と、
前記遮断部及び前記要求部により生成された、関節の異常動作を顕在化させる環境下において、前記要求部が要求する動きには必要のない関節が意図せずに動いてしまう関節連関という現象に応じて前記身体動作の難度を制御するための制御部と、
を備えた情報処理システム。

【請求項2】

前記要求部により要求された前記身体動作の達成を、前記ユーザにフィードバックするフィードバック部を更に備えた請求項１に記載の情報処理システム。

【請求項3】

前記フィードバック部は、前記要求部により要求された前記身体動作の達成ごとに、前記ユーザの５感のうち２つ以上の感覚を刺激するフィードバックを行う請求項２に記載の情報処理システム。

【請求項4】

前記関節連関を評価する関節連関評価部を更に備えた請求項１に記載の情報処理システム。

【請求項5】

前記要求部、或いは前記制御部が、前記ユーザの身体動作が左右交互となるように制御する請求項１に記載の情報処理システム。

【請求項6】

前記制御部は、前記目標オブジェクトの大きさ、前記ユーザからの距離、角度、スピード、背景の有無、音楽の有無、及び視認補助画像の大きさ、の少なくともいずれか一つを変更して、前記身体動作の難度を制御する請求項１に記載の情報処理システム。

【請求項7】

前記遮断部は、仮想空間を表示するヘッドマウントディスプレイであり、
前記要求部は、前記目標オブジェクトと、前記ユーザの身体の一部または前記ユーザが操作する物体を表すアバターオブジェクトとを前記仮想空間において生成し、前記ヘッドマウントディスプレイに表示させる請求項１に記載の情報処理システム。

【請求項8】

前記遮断部は、前記ユーザの身体の全部または一部に背景の一部を表示するプロジェクションマッピングシステム、または仮想空間を表示するコンタクトレンズ型ディスプレイであり、
前記要求部は、前記プロジェクションマッピングシステムを用いて、前記目標オブジェクトと、前記ユーザの身体の一部または前記ユーザが操作する物体を表すアバターオブジェクトとを、前記背景に表示させる、または、前記目標オブジェクトと、前記ユーザの身体の一部または前記ユーザが操作する物体を表すアバターオブジェクトとを前記仮想空間において生成し、前記コンタクトレンズ型ディスプレイに表示させる請求項１に記載の情報処理システム。

【請求項9】

遮断部、要求部及び制御部を備える情報処理システムによる情報処理方法であって、
前記遮断部によりユーザの身体の全部または一部を見えなくする遮断ステップと、
前記要求部により前記ユーザの身体の一部または前記ユーザが操作する物体と、目標オブジェクトとを重ね合わせるような身体動作を前記ユーザに要求する要求ステップと、
前記遮断ステップ及び前記要求ステップにより生成された、関節の異常動作を顕在化させる環境下において、前記制御部が、前記要求部が要求する動きには必要のない関節が意図せずに動いてしまう関節連関という現象に応じて前記身体動作の難度を制御する制御ステップと、
を含む情報処理方法。

【請求項10】

ユーザの身体の全部または一部を見えなくする遮断ステップと、
前記ユーザの身体の一部または前記ユーザが操作する物体と、目標オブジェクトとを重ね合わせるような身体動作を前記ユーザに要求する要求ステップと、
前記遮断ステップ及び前記要求ステップにより生成された、関節の異常動作を顕在化させる環境下において、前記要求ステップで要求された動きには必要のない関節が意図せずに動いてしまう関節連関という現象に応じて前記身体動作の難度を制御するための制御ステップと、
をコンピュータに実行させる情報処理プログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

上記目的を達成するため、本発明にかかるシステムは、
ユーザの身体の全部または一部を見えなくする遮断部と、
前記ユーザの身体の一部または前記ユーザが操作する物体と、目標オブジェクトとを重ね合わせるような身体動作を前記ユーザに要求する要求部と、
前記遮断部及び前記要求部により生成された、関節の異常動作を顕在化させる環境下において、前記要求部が要求する動きには必要のない関節が意図せずに動いてしまう関節連関という現象に応じて前記身体動作の難度を制御するための制御部と、
を備えた情報処理システムである。
上記目的を達成するため、本発明にかかる方法は、
遮断部、要求部及び制御部を備える情報処理システムによる情報処理方法であって、
前記遮断部によりユーザの身体の全部または一部を見えなくする遮断ステップと、
前記要求部により前記ユーザの身体の一部または前記ユーザが操作する物体と、目標オブジェクトとを重ね合わせるような身体動作を前記ユーザに要求する要求ステップと、
前記遮断ステップ及び前記要求ステップにより生成された、関節の異常動作を顕在化させる環境下において、前記制御部が、前記要求部が要求する動きには必要のない関節が意図せずに動いてしまう関節連関という現象に応じて前記身体動作の難度を制御する制御ステップと、
を含む情報処理方法である。
上記目的を達成するため、本発明にかかるプログラムは、
ユーザの身体の全部または一部を見えなくする遮断ステップと、
前記ユーザの身体の一部または前記ユーザが操作する物体と、目標オブジェクトとを重ね合わせるような身体動作を前記ユーザに要求する要求ステップと、
前記遮断ステップ及び前記要求ステップにより生成された、関節の異常動作を顕在化させる環境下において、前記要求ステップで要求された動きには必要のない関節が意図せずに動いてしまう関節連関という現象に応じて前記身体動作の難度を制御するための制御ステップと、
をコンピュータに実行させる情報処理プログラムである。