特許 7509475 情報処理システム、情報処理方法および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-06-24

(45)【発行日】2024-07-02

(54)【発明の名称】情報処理システム、情報処理方法および情報処理プログラム

(51)【国際特許分類】

   A63B 23/12 20060101AFI20240625BHJP

   A63B 24/00 20060101ALI20240625BHJP

【ＦＩ】

A63B23/12

A63B24/00

【請求項の数】 10

(21)【出願番号】P 2023194736

(22)【出願日】2023-11-15

【審査請求日】2023-11-17

【早期審査対象出願】

(73)【特許権者】

【識別番号】517147593

【氏名又は名称】株式会社ｍｅｄｉＶＲ

(74)【代理人】

【識別番号】100134430

【弁理士】

【氏名又は名称】加藤 卓士

(72)【発明者】

【氏名】原 正彦

(72)【発明者】

【氏名】瀧本 和大

【審査官】田中 洋行

(56)【参考文献】

【文献】特開２０２３－０４０９９０（ＪＰ，Ａ）

【文献】特開２００３－１６３７４１（ＪＰ，Ａ）

【文献】特開２０００－０６６８０１（ＪＰ，Ａ）

【文献】特開２００７－１０２８０８（ＪＰ，Ａ）

【文献】特開２０１２－０７９３３５（ＪＰ，Ａ）

【文献】特開２００３－２１９０１１（ＪＰ，Ａ）

【文献】特許第６２００６１５（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｂ １／００－２６／００

(57)【特許請求の範囲】

【請求項1】

オペレータがユーザの様子を見ながらテンキーを操作したことによる操作内容を受信して前記ユーザにリーチング動作を要求する情報処理装置であって、
前記ユーザがリーチング動作を行う際に目標となる目標オブジェクトを仮想空間に出現させる制御部と、
前記テンキーからの入力に応じて、前記目標オブジェクトの出現位置を設定する設定部と、
を備え、
前記設定部は、前記目標オブジェクトの出現位置として、あらかじめ前記仮想空間で設定された基準位置からの出現距離と、あらかじめ前記仮想空間で設定された基準方向に対する出現方向と、をパラメータとして備え、
前記テンキーの「２」、「５」、「８」のボタンを前記出現距離の切り替えとして利用し、
前記テンキーの「１」、「４」、「７」、「３」、「６」、「９」のボタンを前記出現方向の切り替えとして利用する情報処理装置。

【請求項2】

前記テンキーの「２」のボタンが押されると、前記設定部はユーザに近い位置に目標オブジェクトを出現させるよう設定し、「８」のボタンが押されると、前記設定部はユーザから遠い位置に目標オブジェクトを出現させるよう設定し、「５」のボタンが押されると、前記設定部はそれらの中間位置に目標オブジェクトを出現させるよう設定する請求項１に記載の情報処理装置。

【請求項3】

前記設定部は、前記テンキーの「１」、「４」、「７」のボタンが押された場合に前記ユーザの左半身用の前記目標オブジェクトを出現させる設定とし、前記制御部は、前記テンキーの「１」、「４」、「７」のボタンが押されたことをトリガーにして、前記ユーザの左半身用の前記目標オブジェクトを出現させ、
前記設定部は、前記テンキーの「３」、「６」、「９」のボタンが押された場合に前記ユーザの右半身用の前記目標オブジェクトを出現させる設定とし、前記制御部は、前記テンキーの「３」、「６」、「９」のボタンが押されたことをトリガーにして、前記ユーザの右半身用の前記目標オブジェクトを出現させる請求項１に記載の情報処理装置。

【請求項4】

前記制御部は、
前記テンキーの「１」、「３」のボタンが押された場合に前記ユーザの横方向に前記目標オブジェクトを出現させ、
前記テンキーの「７」、「９」のボタンが押された場合に前記ユーザの正面方向に前記目標オブジェクトを出現させ、
前記テンキーの「４」、「６」のボタンが押された場合に前記ユーザの正面方向と横方向の間の斜め方向に前記目標オブジェクトを出現させる請求項１に記載の情報処理装置。

【請求項5】

前記テンキーの「１」，「４」，「７」，「３」，「６」，「９」の各ボタンの役割を表す第１表記、または第１シールと、
前記テンキーの「２」、「５」、「８」の各ボタンの役割を表す第２表記、または第２シールと、
をさらに備えた請求項１に記載の情報処理装置。

【請求項6】

前記第１、第２表記、または第１、第２シールは、前記テンキーの本来の数字と、各ボタンの役割を表す矢印および文字とを表示内容として含む請求項５に記載の情報処理装置。

【請求項7】

前記第１、第２表記、または第１、第２シールは、前記テンキーの「１」、「４」、「７」と、前記テンキーの「３」、「６」、「９」とを異なる色で表示し、
前記目標オブジェクトの色と対応した色である請求項５に記載の情報処理装置。

【請求項8】

前記テンキーの「／」ボタンにタスクパラメータ選択機能をもたせ、前記テンキーの「＋」「－」ボタンにパラメータ値の増減機能をもたせた請求項１から７のいずれか１項に記載の情報処理装置。

【請求項9】

オペレータがユーザの様子を見ながらテンキーを操作したことによる操作内容を受信して前記ユーザにリーチング動作を要求する情報処理方法であって、
前記ユーザがリーチング動作を行う際に目標となる目標オブジェクトを制御部が仮想空間に出現させる制御ステップと、
設定部が前記テンキーからの入力に応じて、前記目標オブジェクトの出現位置を設定する設定ステップと、
を含み、
前記設定部は、前記目標オブジェクトの出現位置として、あらかじめ前記仮想空間で設定された基準位置からの出現距離と、あらかじめ前記仮想空間で設定された基準方向に対する出現方向と、をパラメータとして備え、
前記テンキーの「２」、「５」、「８」のボタンを前記出現距離の切り替えとして利用し、
前記テンキーの「１」、「４」、「７」、「３」、「６」、「９」のボタンを前記出現方向の切り替えとして利用する情報処理方法。

【請求項10】

オペレータがユーザの様子を見ながらテンキーを操作したことによる操作内容を受信して前記ユーザにリーチング動作を要求するため、
前記ユーザがリーチング動作を行う際に目標となる目標オブジェクトを仮想空間に出現させる制御ステップと、
前記テンキーからの入力に応じて、前記目標オブジェクトの出現位置を設定する設定ステップと、
をコンピュータに実行させる情報処理プログラムであって
前記設定ステップは、前記目標オブジェクトの出現位置として、あらかじめ前記仮想空間で設定された基準位置からの出現距離と、あらかじめ前記仮想空間で設定された基準方向に対する出現方向と、をパラメータとして備え、
前記テンキーの「２」、「５」、「８」のボタンを前記出現距離の切り替えとして利用し、
前記テンキーの「１」、「４」、「７」、「３」、「６」、「９」のボタンを前記出現方向の切り替えとして利用する情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法および情報処理プログラムに関する。

【背景技術】

【0002】

上記技術分野において、特許文献１には、脳卒中等による片麻痺患者に対して行なわれるシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－２２８９５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記文献に記載の技術では、ユーザの目標位置を、ユーザの動きを見ながら迅速に設定することができなかった。

【0005】

本発明の目的は、上述の課題を解決する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る装置は、
オペレータがユーザの様子を見ながらテンキーを操作したことによる操作内容を受信して前記ユーザにリーチング動作を要求する情報処理装置であって、
前記ユーザがリーチング動作を行う際に目標となる目標オブジェクトを仮想空間に出現させる制御部と、
前記テンキーからの入力に応じて、前記目標オブジェクトの出現位置を設定する設定部と、
を備え、
前記設定部は、前記目標オブジェクトの出現位置として、あらかじめ前記仮想空間で設定された基準位置からの出現距離と、あらかじめ前記仮想空間で設定された基準方向に対する出現方向と、をパラメータとして備え、
前記テンキーの「２」、「５」、「８」のボタンを前記出現距離の切り替えとして利用し、
前記テンキーの「１」、「４」、「７」、「３」、「６」、「９」のボタンを前記出現方向の切り替えとして利用する情報処理装置である。

【0007】

上記目的を達成するため、本発明に係る方法は、
オペレータがユーザの様子を見ながらテンキーを操作したことによる操作内容を受信して前記ユーザにリーチング動作を要求する情報処理方法であって、
前記ユーザがリーチング動作を行う際に目標となる目標オブジェクトを制御部が仮想空間に出現させる制御ステップと、
設定部が前記テンキーからの入力に応じて、前記目標オブジェクトの出現位置を設定する設定ステップと、
を含み、
前記設定部は、前記目標オブジェクトの出現位置として、あらかじめ前記仮想空間で設定された基準位置からの出現距離と、あらかじめ前記仮想空間で設定された基準方向に対する出現方向と、をパラメータとして備え、
前記テンキーの「２」、「５」、「８」のボタンを前記出現距離の切り替えとして利用し、
前記テンキーの「１」、「４」、「７」、「３」、「６」、「９」のボタンを前記出現方向の切り替えとして利用する情報処理方法である。

【0008】

オペレータがユーザの様子を見ながらテンキーを操作したことによる操作内容を受信して前記ユーザにリーチング動作を要求するため、
前記ユーザがリーチング動作を行う際に目標となる目標オブジェクトを仮想空間に出現させる制御ステップと、
前記テンキーからの入力に応じて、前記目標オブジェクトの出現位置を設定する設定ステップと、
をコンピュータに実行させる情報処理プログラムであって
前記設定ステップは、前記目標オブジェクトの出現位置として、あらかじめ前記仮想空間で設定された基準位置からの出現距離と、あらかじめ前記仮想空間で設定された基準方向に対する出現方向と、をパラメータとして備え、
前記テンキーの「２」、「５」、「８」のボタンを前記出現距離の切り替えとして利用し、
前記テンキーの「１」、「４」、「７」、「３」、「６」、「９」のボタンを前記出現方向の切り替えとして利用する情報処理プログラムである。

【発明の効果】

【0009】

本発明によれば、ユーザのリーチング目標のパラメータを、ユーザの動きを見ながら迅速に設定することができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係る情報処理システムの構成を示すブロック図である。

【図2A】第２実施形態に係るリハビリテーション支援システムの構成を示すブロック図である。

【図2B】第２実施形態に係るリハビリテーション支援システムの構成を説明するための図である。

【図2C】第２実施形態に係るリハビリテーション支援システムの構成を説明するための図である。

【図3A】第２実施形態に係るリハビリテーション支援システムの操作パネル画面の一例を示す図である。

【図3B】第２実施形態に係るリハビリテーション支援システムの操作パネル画面の他の例を示す図である。

【図4】第２実施形態に係るリハビリテーション支援システムのタスク履歴データの一例を示す図である。

【図5】第２実施形態に係るリハビリテーション支援システムで用いられるテンキーを示す図である。

【図6A】第２実施形態に係るリハビリテーション支援システムで用いられるテンキーの機能を説明する図である。

【図6B】第２実施形態に係るリハビリテーション支援システムで用いられるテンキーの変形例の機能を説明する図である。

【図7】第２実施形態に係るリハビリテーション支援システムの処理の流れを示すフローチャートである。

【図8】第２実施形態に係るリハビリテーション支援システムのキャリブレーション画面の一例を示す図である。

【図9】第２実施形態に係るリハビリテーション支援システムのキャリブレーション画面の一例を示す図である。

【図10】第２実施形態に係るリハビリテーション支援システムのヘッドマウントディスプレイでの表示画面の一例を示す図である。

【図11】第２実施形態に係るリハビリテーション支援システムのヘッドマウントディスプレイでの表示画面の一例を示す図である。

【図12】第２実施形態に係るリハビリテーション支援システムのヘッドマウントディスプレイでの表示画面の一例を示す図である。

【図13】第２実施形態に係るリハビリテーション支援システムのヘッドマウントディスプレイでの表示画面の一例を示す図である。

【発明を実施するための形態】

【0011】

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

【0012】

［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、ユーザ１１０に対してリーチング動作を要求する情報処理装置である。なお、リーチング動作は通常手を伸ばすような動きを意味するが、ここでは体の特定の部位を三次元空間上の特定の座標に向けて動かす動作全般を便宜上リーチング動作と表現するものとする。すなわち、リーチング動作は手や前腕を含むいわゆる上肢のみではなく、例えば肩、肘、下肢（膝、足部）、頭部といった部位を三次元空間上の座標に向けて動かす動作を含むものとする。

【0013】

図１に示すように、情報処理装置１００は、ユーザ１１０がリーチングする目標となる目標オブジェクト１５１，１５２を仮想空間１５０に出現させる制御部１０１と、テンキー１７０からの入力に応じて、目標オブジェクト１５１，１５２の出現位置を設定する設定部１０２と、を備える。

【0014】

以上の構成によれば、ユーザの目標位置を、ユーザの動きを見ながら迅速に設定することができる。

【0015】

［第２実施形態］
次に本発明の第２実施形態に係る情報処理システム２００について、図２Ａを用いて説明する。図２Ａは、本実施形態に係る情報処理システム２００の構成を説明するための図である。情報処理システム２００は、リハビリテーション支援ソフトウェアを搭載したコンピュータとしての情報処理装置２１０と、高性能ＶＲ機器としてのベースステーション２３１、ヘッドマウントディスプレイ２３３によって構成される医療機器である。本実施形態に係るリハビリテーション支援システム２００は、上肢機能、歩行機能、体幹機能やバランス機能等の身体機能、認知機能（空間認知や注意機能、高次脳機能を含む）、および感覚機能（内耳、前庭系や触覚、温痛覚、位置覚、深部感覚を含む）の少なくとも１つの機能異常を改善させることができる。

【0016】

ここで示す情報処理システム２００は、関節の異常動作、あるいは協調運動障害を顕在化させる環境を提供する医療システムの一例であり、本発明は本実施形態に限定されるものではない。すなわち本発明は「リハビリテーション」という概念に限定されるべきものではなく、麻痺や失調から、認知症や統合失調症などの身体的疾患、および認知、精神的疾患を積極的に治療する治療システムも本発明に含まれる。さらには、何ら治療やリハビリが必要とされない健常者の運動能力や認知能力を現状より向上させるための動作検証システム、能力改善、向上システム、スポーツ選手向け運動能力向上システムも本発明に含まれる。つまり、本ソフトウェアはより具体的には体性認知協調療法と呼ばれる治療法を提供するソフトウェアと表現してもよいし、協調運動障害はより具体的にはSomato-Cognitive Action Network（SCAN）の異常やSCANの絡まりと表現してもよい。協調運動障害を有するユーザは全く自覚のない場合も多い。

【0017】

図２Ａに示すように、リハビリテーション支援システム２００は、情報処理装置２１０と、ベースステーション２３１と、遮断部としてのヘッドマウントディスプレイ２３３と、２つのコントローラ２３４、２３５とを備える。

【0018】

ユーザ２２０は、ヘッドマウントディスプレイ２３３を装着し、椅子２２５に座りながら、ヘッドマウントディスプレイ２３３の表示に応じて、身体を動かす。ユーザ２２０は、両手にコントローラ２４３、２３４を保持または固定して、ヘッドマウントディスプレイ２３３における表示、またはオペレータ２８０の声、に従い、座位でリーチング動作を行う。

【0019】

高性能ＶＲ機器としてのベースステーション２３１、ヘッドマウントディスプレイ２３３、およびコントローラ２３４，２３５は、３次元空間においてミリ単位で正確な計測が可能である。すなわち、ヘッドマウントディスプレイ２３３またはコントローラ２３４，２３５の姿勢および位置を正確に測定する。

【0020】

本実施形態では、椅子２２５に座って行なう動作の検証を前提に説明するが、本発明はこれに限定されるものではなく、立って行なっても、ベッド上で行っても、仰臥位や腹臥位で行っても、またはその他特定の動作を行いながら行ってもよい。また、ここではユーザ２２０が両手でコントローラ２３４、２３５を保持しているが、本発明はこれに限定されるものでもなく、足や体幹等、手以外の体の部位に保持、装着してもよい。

【0021】

運動選手などの場合、トレッドミル上で、歩きながらまたは走りながら、本システムにおけるリーチング動作を行ってもよい。この場合、要求された動作の達成度合いに応じてトレッドミルの速度を変更してもよい。

【0022】

なお、ヘッドマウントディスプレイ２３３としては、非透過タイプでも、ビデオシースルータイプでも、オプティカルシースルータイプでも、あるいは眼鏡型でも構わない。本実施形態ではＶＲ（Virtual Reality）の仮想空間をユーザに提示するが、ＡＲ（Augmented Reality:拡張現実）のように、現実空間と仮想空間とを重畳表示してもよいし、ＭＲ（Mixed Reality:複合現実）のように、仮想空間に現実情報を反映させてもよいし、あるいはホログラム技術を代替手段として用いてもよい。

【0023】

ここで重要なことは、ヘッドマウントディスプレイ２３３を装着することにより、ユーザ２２０は、自分自身の身体の全部または一部が直接見えなくなることである。通常、人間は実生活（現実空間）においては、体の動きを視覚的に直接認識しながら、その動きを無意識に微調整してターゲットまで動かしている（視認補正）。本システムにおいてユーザ２２０は、現実空間の自分の手を直接見ることができないため、ユーザの脳は、通常のように手の動きに正確な視認補正を加えることができない。

【0024】

そのため、協調運動障害（SCANの絡まり）が顕在化され、身体動作を行う部位とは異なる関節の異常な動き（不随意運動）が検出されやすくなる。本実施形態では、ヘッドマウントディスプレイ２３３を用いたが、例えば、仮想空間を表示するコンタクトレンズ型ディスプレイやグラスタイプディスプレイを採用してもよい。さらには、ユーザ２２０の身体の全部または一部に背景を表示して、あたかも身体の全部または一部が透過しているかのように見せるプロジェクションマッピングシステムを採用してもよい。ユーザ２２０の視覚を容易かつ完全に遮断できる装置としては非透過タイプのヘッドマウントディスプレイが最も使いやすい。

【0025】

情報処理装置２１０は、動作検出部２１１、制御部２１２、フィードバック部２１３、設定部２１４、リーチング評価部２１５を備える。

【0026】

ヘッドマウントディスプレイ２３３およびコントローラ２３４、２３５は、ベースステーション２３１からの赤外線信号を受信し、動作検出部２１１に送る。動作検出部２１１は、赤外線信号の時間的なパターンから、ヘッドマウントディスプレイ２３３およびコントローラ２３４、２３５の位置および姿勢を算出する。

【0027】

制御部２１２は、ヘッドマウントディスプレイ２３３の位置および姿勢に基づいて、ヘッドマウントディスプレイ２３３の表示を制御する。具体的には、ヘッドマウントディスプレイ２３３の位置や姿勢に応じて仮想空間上の視点の位置および向きを変更し、ヘッドマウントディスプレイ２３３に表示する画像を決定する。制御部２１２はまた、ユーザがリーチングする目標となる目標オブジェクトを仮想空間に出現させる。

【0028】

フィードバック部２１３は、ユーザ２２０が手に持つコントローラ２３４、２３５の位置および／または動きに基づいて、ユーザ２２０のリハビリテーション動作を検出し、評価する。

【0029】

本実施形態では、ユーザの手や頭の位置または動作を検出するためのセンサの一例として、ユーザ２２０が手に持つタイプのコントローラ２３４、２３５や、ベースステーション２３１を示しているが、本発明はこれに限定されるものではない。ユーザの"手そのものの位置または動作"を画像認識処理により検出するためのカメラ（深度センサを含む）や、温度によりユーザの手の位置を検出するためのセンサや、ユーザの腕に装着させる腕時計型のウェアラブル端末などや、モーションキャプチャなども、動作検出部２１１と連動することで本発明に適用可能である。つまり、キネクト（登録商標）等の三次元トラッキング装置や動作分析装置を用いたり、体にマーカー等を装着したりして行うことが一つの実施形態となる。

【0030】

制御部２１２は、ユーザ２２０がリーチングする目標となる目標オブジェクト２４１，２４２を仮想空間２４０に出現させて、ヘッドマウントディスプレイ２３３の表示を介して３次元的な身体動作をユーザ２２０に促す。特に、制御部２１２は、ユーザ２２０の左側の身体の一部を３次元的にリハビリテーション動作させるための目標オブジェクト２４１と、ユーザ２２０の右側の身体の一部をリハビリテーション動作させるための目標オブジェクト２４２を仮想空間２４０において生成する。つまり、制御部２１２は、ユーザ２２０に対して、目標オブジェクト２４１，２４２へのリーチングを要求する要求部として機能する。

【0031】

なおここでは、ヘッドマウントマウントディスプレイ２３３に表示される仮想的なターゲットへのリーチングを要求するが、本発明はこれに限定されるものではなく、現実世界に設けられた物体をターゲットとしてもよい。２本以上のワイヤで吊り下げた物体や、超音波の振動で空中に浮遊させた物体などをターゲットとしてもよい。また、ホログラムで３次元的に表示した物体をターゲットとしてもよい。ターゲットとしての目標オブジェクトの形状は、球状に限定されるものではなく、三角、四角、皿形状でもよい。何らかのキャラクターの形状でもよい。オプティカルシースルーやスマートグラスタイプのヘッドマウントディスプレイを用いて、ユーザの視覚を部分的に遮断してユーザ自身の動きを見えなくしつつ、ターゲットのみは視認できるようなシステムも本発明の概念に含まれる。

【0032】

制御部２１２は、目標オブジェクト２４１、２４２を仮想空間２４０内に生成し、例えば、ユーザ２２０の上方から下方に向けて移動させる。ここで制御部２１２が仮想空間２４０内に同時に表示できる目標オブジェクトは２つに限定されず、目標オブジェクトを同時に仮想空間内に３つ以上生成し、表示してもよい。

【0033】

ヘッドマウントディスプレイ２３３においては、仮想空間内での目標オブジェクトと視点位置との距離に応じて、目標オブジェクト２４１の表示位置および大きさが徐々に変わるように（例えば落下の場合、徐々に大きくなり、その後小さくなるように）表示される。なお、目標オブジェクトの移動方向は、下降方向に限定されるものではなく、例えば床面方向から頭上方向への上昇方向でもよい。目標オブジェクト２４１、２４２を、奥から手前にユーザ２２０に向かってくるように移動させてもよい。目標オブジェクト２４１、２４２を、右から左、あるいは左から右へと、ユーザ２２０の手前を通過するように移動させてもよい。さらには、上下方向、奥行き方向、左右方向の移動を適宜組み合わせてもよい。例えば、落下しながら向かってきたり、落下しながら右にスライドしたりといった３次元的な移動も考えられる。ユーザの認知能力および運動能力に応じた動作を行わせることが重要になる。ユーザ２２０の認知機能および運動機能の少なくともいずれか一方が極めて低い場合には、目標オブジェクトを移動させずにある特定の座標位置に固定させて、ユーザのリーチングを促してもよい。片麻痺や脳性麻痺で随意的に身体が動かせないユーザや、高次脳機能障害や高度知的障害、高度認知症等で寝たきりのユーザ２２０など、体がほとんど動かせない、動かない場合、ユーザ２２０の手や肘、肩といった体の部位にコントローラを保持、または固定させ、その位置に目標オブジェクトを落下させることで目標オブジェクトに触れられるようにさせてもよい（これを身体的な動きを伴わないという意味で脳内リーチングと呼ぶ）。この場合、身体動作に関わる脳と身体の情報伝達神経経路や、認知に関わる情報伝達神経路がつながるまで一見してユーザの反応はないように見えるが、繰り返し脳に刺激を与えることで、これら身体・認知の情報伝達神経路がつながると体が動き出したり、認知的な反応が得られたりすることになる。

【0034】

制御部２１２は、ベースステーション２３１で検出したユーザ２２０の動作に応じて動くアバターオブジェクト２４３、２４４を、仮想空間２４０内に生成する。ここでのアバターオブジェクト２４３は、左手で操作するコントローラ２３４に対応して動くオブジェクトであり、ユーザの左側の身体の一部の位置を表す。アバターオブジェクト２４４は、右手で操作するコントローラ２３５に対応して動くオブジェクトであり、ユーザの右側の身体の一部の位置を表す。制御部２１２は、アバターオブジェクト２４３、２４４を目標オブジェクト２４１、２４２に重ね合わせるような身体動作をユーザに要求する。

【0035】

アバターオブジェクト２４３、２４４は、コントローラ２３４，２３５の動きに対応して動くオブジェクトに限定されない。上述したような三次元身体トラッキング技術を用いてユーザの身体の一部の位置の変化に伴って動く仮想オブジェクトでもよい。ユーザが操作する物体も、図示されるようなコントローラに限定されるものではなく、例えば位置センサを備えたラケットやバットやゴルフクラブのようなものでもよい。

【0036】

制御部２１２は、アバターオブジェクト２４３、２４４および目標オブジェクト２４１、２４２を、動作検出部２１１が検出したヘッドマウントディスプレイ２３３の向きおよび位置に応じて、ヘッドマウントディスプレイ２３３の表示画面２４５に表示させる。アバターオブジェクト２４３、２４４および目標オブジェクト２４１、２４２の画像は、背景画像に重畳表示される。ここでは、アバターオブジェクト２４３、２４４は、コントローラ２３４、２３５と同じ形状をしているがこれに限定されるものではなく、手の形でもよい。さらに左右で大きさや形状、色を変えたりしてもよい。背景画像は、地平線２４６と、地表面オブジェクト２４７とを含んだ仮想空間から切り出したものである。視線の移動（ヘッドマウントディスプレイの位置および向き）に応じて、背景画像およびアバターオブジェクト２４３、２４４および目標オブジェクト２４１、２４２の見え方は変わる。

【0037】

制御部２１２は、右側の身体の一部の位置を示すアバターオブジェクト２４４と、その右側のアバターオブジェクト２４４の目標位置を示す目標オブジェクト２４２とを同系色または同形状で生成する。また、制御部２１２は、左側の身体の一部の位置を示すアバターオブジェクト２４３と、その左側のアバターオブジェクト２４３の目標位置を示す目標オブジェクト２４１とを同系色または同形状で生成する。また、左側アバターオブジェクト２４３と左目標オブジェクト２４１の色または形状は、右側アバターオブジェクト２４４および右目標オブジェクト２４２の色または形状と異なるように設定することが望ましい。

【0038】

コントローラ２３４、２３５を動かすユーザ２２０の動作がリハビリテーション動作であり、ユーザ２２０が行なうべき１回のリハビリテーション動作を促す目標オブジェクトの表示をタスク、あるいは課題と呼ぶ。ここでは、例としてアバターオブジェクト２４３、２４４は例えば青と赤で色分けされており、目標オブジェクト２４１、２４２も、青と赤に色分けされている。青い目標オブジェクト２４１には、青いアバターオブジェクト２４３を接触させることによりタスク達成となる。同様に赤い目標オブジェクト２４２には、赤いアバターオブジェクト２４４を接触させることによりタスク達成となる。すなわち、異なる色のアバターオブジェクトを接触させてもタスク達成とはならない。ここでは青と赤に色分けすることを例として示しているが、色盲のユーザ向けに、他の色分け（黄色と緑など）で表示してもよいし、あるいは色を用いずに形状や、「左」「右」、「L（Left）」「R（Right）」といったように言語的な表記、あるいは星印や三角印や○印のように記号を表記したり、図中の２４３、２４４のように異なる模様（ストライプ）を表記することで区別できるようにしてもよい。

【0039】

１つのタスクを表わす情報（タスクデータ）として、目標オブジェクトの出現方向（椅子の正面方向に対して右９０度、右４５度、正面、左４５度、左９０度）（※あるいは分度器様に左真横を０度、左斜め前を４５度、正面を９０度、右斜め前を１３５度、右真横を１８０度と表現してもよい）、目標オブジェクトまでの距離（近距離short、中距離middle、遠距離longなど）、目標オブジェクトの大きさ、目標オブジェクトの出現間隔（時間）、目標オブジェクトの移動速度、同時に出現する目標オブジェクトの数、センサオブジェクトの大きさなどが含まれる。ユーザ２２０から目標オブジェクト２４１、２４２の落下位置までの奥行き方向の距離を例えば３段階で設定することもできる。例えば、ユーザ２２０の直ぐそばに落下させたり、ユーザ２２０が大きく前のめりにならないと届かない位置に落下させたり、その中間位置に落下させたりと変更することができる。これにより、ユーザに与える運動負荷、および空間認知能力、あるいは空間把握能力に対する負荷を制御することができる。

【0040】

［フィードバック］
アバターオブジェクト２４３、２４４が目標オブジェクト２４１、２４２にぶつかると、制御部２１２は目標オブジェクト２４１、２４２を消滅させ、フィードバック部２１３は、目標動作が達成されたとして、目標動作の達成を報知、あるいは知らせる目的でメッセージを表示したり目標オブジェクトを破裂させるなど視覚的な効果を利用して視覚的なフィードバックを行う。アバターオブジェクト２４３、２４４が目標オブジェクト２４１、２４２の中心にリーチングすれば「あっぱれ」、周辺領域へのリーチングでも「おみごと」と１回のタスクごとに表示する。これにより要求された身体動作ごとの達成を、達成精度を区別しながらユーザにフィードバックする。フィードバック部２１３は、ユーザの５感のうち１つ以上の感覚を刺激してフィードバックを行えばよい。ユーザの５感のうち２つ以上の感覚を刺激してフィードバックを行えば、よりユーザの認知能力または運動能力またはその両方を効果的に向上させることができる。

【0041】

すなわちフィードバック部２１３は、目標オブジェクト２４１、目標オブジェクト２４２に対するユーザ２２０の１回毎のリハビリテーション動作の達成をそれぞれ報知する。ここでの報知の方法は、様々な方法が考えられる。上記のように、表示画面２４５内に「あっぱれ（パーフェクトやPerfect）」「おみごと（グッドやGood）」といった文字を一時的に表示させて、目標動作の達成具合をユーザに知らせてもよいし、同様の音声や効果音を用いて、聴覚刺激を通して目標動作の達成具合をユーザに教えてもよい。さらには、同時にコントローラ２３４、２３５のうち、目標オブジェクトに接触するための動きを行ったコントローラのみを振動させて、触覚刺激を通して目標動作の達成具合をユーザに通知してもよい。あるいは、達成の報知は、例えば完全な達成、不完全な達成、達成できずといったように段階付けをして、達成の程度、達成具合を報知してもよいし、味覚刺激、嗅覚刺激を用いてもよい。

【0042】

より詳しくは、アバターオブジェクト２４３、２４４に含まれるセンサオブジェクト（アバターオブジェクトの位置および領域を定義する球状オブジェクト）と目標オブジェクト２４１、２４２との最短距離が所定範囲内になると、目標達成となる。そして、目標オブジェクト２４１、２４２は消滅する。センサオブジェクトは、例えば、アバターオブジェクト２４３、２４４の先端部中心点を含む球体オブジェクトである。この目標オブジェクト２４１、２４２の大きさや、周囲部分の大きさは、設定部２１４により設定可能である。また、センサオブジェクトの大きさも設定部２１４により設定可能である。

【0043】

フィードバック部２１３は、制御部２１２を介して、メッセージ種別を、リハビリテーション動作の評価に応じて変化させることが好ましい。例えば、センサオブジェクトが目標オブジェクト２４１、２４２の中心に接触すれば、「あっぱれ」と表示し、センサオブジェクトが目標オブジェクト２４１、２４２の中心の周囲部分のみに接触すれば「おみごと」と表示するなどである。

【0044】

例えば図３Ｂの画面では目標オブジェクトの半径が１０cm、視認補助オブジェクトの半径が２０cm、センサオブジェクトの半径が２cmに調整されている。センサオブジェクト（半径２cmの球体）の一部が、目標オブジェクトと少しでも重なったらPerfect判定となる。一方、目標オブジェクトには触れずに視認補助オブジェクトには触れている状態であればGood判定となる。ただし、この時、Good判定範囲に入っても、コントローラがPerfect半径の方向に向かっている限り、Good判定の当たり判定は確定されない。Good判定範囲に入り、かつPerfect半径の中心からセンサオブジェクトが遠ざかるという条件においてGood判定となる。なお本実施形態では視認補助オブジェクトの大きさとgood判定の領域の大きさとは一致させているが、本発明はこれに限定されるものではなく、視認補助オブジェクトが、good判定領域よりも大きくてもよいし小さくてもよい。

【0045】

目標オブジェクト２４１、２４２の外縁部とセンサオブジェクトの外縁部との最短距離が第１閾値以下になれば目標の完全達成として例えば「あっぱれ」と画像表示すると同時に対応する音声を出力してフィードバックする。第１閾値より大きいが第２閾値以下であれば目標の達成として例えば「おみごと」と画像表示すると同時に対応する音声を出力してフィードバックする。ただし、上述したように、第２閾値以下であっても、センサオブジェクトがさらに第１閾値以下となるような方向に向かっている場合は第２閾値以下であるとの判定は行われない。

【0046】

このような複数の異なる感覚（ここでは視覚と聴覚）を刺激するフィードバックをマルチチャネルバイオフィードバック、または多信号生体フィードバック、あるいは多感覚生体フィードバックと呼ぶ。同時にコントローラ２３４，２３５を振動させて触覚を刺激してもよいし、嗅覚や味覚に対して刺激を与えてもよい。

【0047】

つまり、フィードバック部２１３は、フィードバックとして、視覚、聴覚、触覚、味覚、および嗅覚の５感うち、いずれかの感覚を刺激することができる。この感覚刺激はいずれか２つを組み合わせてもよいし、３つ以上組み合わせても、あるいは全てを刺激してもよい。

【0048】

なお、出力される音声はメッセージと同一のものでなくてもよく、例えば「ピローン」というような非言語的な効果音を用いてもよい。なお、このようにセンサオブジェクトと目標オブジェクトの接触に必要な距離を縮めていくほど、より精度の高い動作が要求されるため、脳はより正確で研ぎ澄まされた動作を運動指令として体に要求する必要がある。上述の通り、この脳のイメージ付けをフィードフォーワードと呼ぶ。すなわち、動作完了のために要求するセンサオブジェクトと目標オブジェクトの距離が小さいほど、より強力なフィードフォーワードが必要があり、このことによってユーザの運動や認知、感覚の負荷レベルを連続的に調整できる。

【0049】

ここでは、フィードバック部２１３は、あっぱれとおみごとの２段階で評価し報知したが、センサオブジェクトと目標オブジェクト２４１、２４２との距離がどこまで縮まったかによってリハビリテーション動作を３段階以上に分けて評価してもよい。

【0050】

フィードバック部２１３は、目標オブジェクト２４１、２４２に仮想的に触れたユーザに対して、例えば五感（視覚、聴覚、触覚、味覚、嗅覚）のうち２つ以上の感覚を刺激するフィードバックを、センサオブジェクトが目標オブジェクト２４１、２４２の中心から所定距離内に入ったタイミング、または、センサオブジェクトが目標オブジェクト２４１、２４２と接触したタイミングとほぼ同時に行う（リアルタイムマルチチャネルバイオフィードバック、または即時的多信号生体フィードバック、あるいは即時的多感覚生体フィードバックと呼ぶ）。それらのタイミングからフィードバックまでの遅延は、例えば１秒以内であれば効果が高く、ユーザの動作タイミングとフィードバックのタイミングとの間隔が近ければ近いほど（遅延が小さいほど）効果が大きい。フィードバック部２１３は、「あっぱれ！」という画像により、ユーザの視覚を刺激するフィードバックを行ないつつ、同時に、またはコンマ数秒遅れて、スピーカから出力される音声あるいは効果音により、ユーザの聴覚を刺激するフィードバックを行なう。五感刺激に対する課題達成の報知は、動作種別に応じて、いかように組み合わせて行ってもよい。

【0051】

さらに、フィードバック部２１３は、「あっぱれ！」という画像による視覚フィードバックと、音声での聴覚フィードバックと、振動による触覚フィードバックとを同時に出力させてもよい。また、フィードバック部２１３は、「あっぱれ！」という画像による視覚フィードバックと、振動による触覚フィードバックとの２種類のフィードバックのみを同時に出力させてもよい。あるいは、フィードバック部２１３は、「あっぱれ！」という音声での聴覚フィードバックと、振動による触覚フィードバックとの２種類のフィードバックのみを同時に出力させてもよい。

【0052】

［関節連関］
ここで、ユーザ２２０にはアバターオブジェクト２４３、２４４は見えているが、実際の身体の動きが直接見えているわけではないので、体の一部あるいは全部が遮断されて見えない状態となり、ユーザの脳内における負担が大きくなる。自分の体（現実空間におけるコントローラなども）の全部あるいは一部が見えない状態で、自身の身体またはその延長線上のどこか、より具体的には図２Aでは仮想空間中のコントローラ先端のセンサオブジェクトの位置（点）と、三次元空間上のある特定の座標、より具体的期には図２Ａでは目標オブジェクトの位置を重ね合わせる（触れ合わせる）ような推定を脳にさせることを点推定と呼ぶ。

【0053】

点推定をさせた場合、脳は視覚に頼らず、かなり強力に体の状態を脳内にイメージ（ボディーイメージ構築）する必要がある。これを「強力なフィードフォーワードを要する」と医学では表現する。強力なフィードフォーワードを要求された脳は、体の協調的な調整がより困難となり、協調運動障害が顕在化され、身体動作を行う部位とは異なる関節の異常な動きが発出しやすくなる。また、点推定を要する強力なフィードフォーワードが行われることで、錐体路等を介した刺激により体の深層筋の収縮を惹起可能となる。

【0054】

脳に大きな負荷をかけると、例えば右側コントローラ２３５のアバター画像２４４を右側の目標オブジェクト２４２にリーチングする際に、無意識のうちに左足の膝関節に力が入り左足の下腿部が前方または後方に動いてしまうユーザ２２０がいる（２２１）。本明細書では、このような要求する動きには必要のない関節が意図せずに不随意で動いてしまう現象を関節連関（articular linkage）、あるいはSomato-Cognitive Action Network（SCAN）の異常やSCANの絡まりと呼ぶ。関節連関はユーザ２２０の動作改善の指標に用いることができる。なお、この関節連関はアナトミカルトレインと呼ばれる解剖学的な繋がりがなくとも顕在化される。例えば、足の指の関節を随意的に動作させるような場合に、顎関節や股関節、肩関節に不随意運動が生じる等である。これは、右に体が傾いたときにバランスをとるために左手が動く現象とは全く異なり、健常者であれば見られない現象である。

【0055】

関節連関とは、本来動くはずのない関節が動く現象であり、意図した動作部位以外の関節に出現する不随意運動とも表現できる。この関節連関に注目して介入を行う。いわゆる脳内情報処理網のバグ取りをおこなう。本出願人によればユーザの視覚情報をミニマムに低減し、点推定をさせながら座位等での左右交互のリーチング動作を要求し、動作達成時に多感覚生体フィードバックにより動作達成度の報知を行うことにより、即時的に関節連関が改善することが経験上わかってきた。これにより協調運動障害を治療、改善することができる。言い換えれば、脳と体の情報処理過程の整理を行なう（からまりをほどく）ことができる。関節連関は、上述の通りentangled somato-cognitive action networkと称することもできる。同様の理屈により発達障害や多動と呼ばれる患者に対しても有効な治療法となる。脳腫瘍の手術により脳を大きくとった患者であっても、本実施形態にかかるシステムで欠損補完できることが分かってきている。

【0056】

非特許文献（Nature "A somato-cognitive action network alternates with effector regions in motor cortex" by Evan M. Gordon et al. Published online:19 04 2023）でも取り上げられた図２Ｃのように、協調運動を司る運動野があらゆる関節を跨いで存在する。この図２Ｃを見れば、最新の脳神経学において、脳の一次運動野の冠状断面図が左右対称の部位（右手と左手、右足と左足、右目と左目のように）ごとにグループ化され（※実際には三次元的には同心円状に分布する）、かつ、それらの運動野が脳内において対称となるように配置されていることがわかる。さらに足の運動野と手の運動野との間、手の運動野と顔の運動野との間に、操り人形で示された身体の各部位の連携を司る神経領域が存在していることが新たにわかってきている。操り人形のような身体の各部位を連携させる神経の存在により、身体の全部または一部が見えない状況で、点推定を要求されるという特定の環境下において、運動中の関節連関が顕在化すると考えられる。

【0057】

本発明者は、実際には上記の非特許文献の公開前から、実際のユーザのリハビリテーション動作を観察することにより、本発明の創出に至っていたものであるが、その有用性、論理性が、この論文によって理論づけられたと言える。

【0058】

図２Ａでは関節連関２２１の発出の一例として膝関節の動きを図示したが、本発明はこれに限定されるものではなく、要求された動作を行う身体部位とは異なる関節の不随意運動は全て本発明の概念に含まれる。例えば、図２Ｂに示すように、関節平面３７１、３７２を検知し、その傾きを計算することにより、肩関節や体幹（頸椎関節、胸椎関節）のねじれと腰（腰椎関節、股関節）のねじれの同時発生を検出する場合もある。

【0059】

具体的には、頸椎椎間関節のねじれ（頭の向きに現れる）、胸椎椎間関節のねじれ（肩の角度に現れる）、肩関節の挙上や外転（脇が開く）、膝関節、股関節、足関節の伸展収縮（膝やつま先が上下したり内反、外転する）、肘関節の伸展収縮（動かすことを要求されていない腕が屈曲位で固定となる）、顎関節の伸展（口が開く）、手内関節や指関節の屈曲進展、趾関節の屈曲（クロートゥー）や進展などが関節連関として発生する。このような関節の動きは屈曲（Flexion）、伸展（Extension）に限らず、内転（Adduction）、外転（Abduction）、回内（Internal Rotation）、回外（External Rotation）、回旋（Circumduction）、あるいはそれらの組み合わせや、ここに記載しない動きも含む。

【0060】

カメラ２３６を設置して、リハビリテーション動作中のユーザ２２０の各関節の位置、ねじれ、傾き、動きの速度、加速度などを検出し、評価する関節連関評価部２１９を設けてもよい。関節連関評価部２１９は、ユーザ２２０の各関節の動きを検出し、その動きの大きさや速度やタイミングなどから、関節連関が生じているか否か評価する。

【0061】

具体的には、歩行時に認められる手の振りといった健常人でも生じる動きは関節連関とは判断せず、座位で手を伸ばす際に生じる両下肢や動きや体幹、頭頚部の傾きといった本来健常人では出現が想定されないような動きを関節連関と判断する。あるいは、システム件出場は特定の関節の動きの方向や大きさに応じて、関節連関を定義付けしてもよい。

【0062】

カメラ２３６でユーザを撮影し、関節連関評価部２１９が、正常時（運動前）の画像と比較、あるいは正常な動作モデルと比較することにより、関節面の異常なねじれや動きを検出することができる。関節連関評価部２１９は、関節連関として判断すべき動きのデータベースおよび／または、関節連関として判断すべきでない動きのデータベースを備えてもよい。ユーザの関節（例えば両肩、両肘、手首、両膝、両足関節など）にセンサを貼り付けて（あるいはモーションキャプチャにより）、ベースステーション２３１でその位置を検出して関節連関を検知してもよい。もちろんオペレータが視認して関節連関の発生を認識してシステムに入力してもよい。

【0063】

関節連関評価部２１９はヘッドマウントディスプレイ２３３の傾きをベースステーション２３１で検出して、首の関節連関を検知してもよい。例えば、ヘッドマウントディスプレイ２３３が３０度傾いていれば、体幹１５度（カメラ画像による判定）、首１５度と判断できる。手首関節の傾きなどは、コントローラ２３４、２３５の位置や傾きから判定できる。

【0064】

股関節、膝関節、足関節、首関節、体幹、肘関節の６関節を集中的に検知してもよい。さらに多くの分類に分割しても良く各関節単位（人は６８個）を全て見てもよいし、逆に異常の最も検知しやすい一つ、または少数個のみの関節に注目するような工夫をしてもよい。さらには、複数の評価指標を合計点等として１つの統合指標、パラメータに落とし込んでもよい。つまり、全身または重要な一部の各関節連関に重み付けをして統合し、トータルの関節連関評価（関節連関スコアの算出）を行ってもよい。

【0065】

１０ｃｍのターゲットに２ｃｍのセンサを重ねる要求動作であれば、点推定の精度は低いが、１ｃｍのターゲットに１ｃｍのセンサを重ねる要求動作には高い精度の点推定が必要になる。この場合、ユーザはヘッドマウントディスプレイなどの遮断部を利用すると、実世界の視覚情報が遮断されているため、不自由な状態となり、点推定のための脳神経が研ぎ澄まされる必要が生じて協調運動障害が顕在化し、すなわち関節連関がより顕著に出現する。これが関節連関発生機序の一つである。

【0066】

リハビリレベル（ユーザの運動能力または認知能力）が上がればターゲットとセンサの大きさを両方小さくすることで点推定の要求精度を上げて、代償となる関節連関をより強く顕在化、惹起させる。その状態で繰り返しリハビリテーション動作を要求することで、あるいは、声掛けや身体的接触により正しい動作をより簡単に行えるように誘導することで、関節連関が治まるようになる。これにより全身のアライメントが調整され、SCANの絡まりのとれた（rewired）状態となり、協調運動障害が軽快、改善する。

【0067】

関節連関評価部２１９は、検知した関節連関の位置および大きさをオペレータ画面２９０などに表示してもよい。過去の関節連関との比較や正常動作モデルとの比較を行う比較部をさらに有し、その比較結果をオペレータに通知してもよい。これによりオペレータは、関節連関の変化をより精度良く認識できる。

【0068】

関節連関評価部２１９は、関節連関としての動きを距離、加速度等としてブルズアイ像などでヒートマップを生成し、表示させてもよいし、関節連関の経時的変化を表記し、動作の難度制御に役立つ情報を提供してもよい。具体的には要求するリーチング動作の開始から終了するまで、関節連関がどのように変化するかを可視化してもよいし、各関節の関節連関の大きさを比較してもよい。どの関節に注目すればいいのかの判断が容易になる。

【0069】

オペレータ２８０または情報処理装置２１０は、関節連関が小さくなるようにリハビリテーション動作を要求し、ユーザ２２０に達成させる。

【0070】

脳をＣＰＵに例えれば、その計算能力１００のうち、関節連関の存在のため身体動作処理に８０とられていた情報処理過程を整理して２０にすれば、要求されるより複雑な動作も可能となり、運動能力が向上する。あるいは、認知処理に避けるＣＰＵ自体が向上すれば、認知能力や注意機能も向上するという考え方である。

【0071】

関節連関がある基準以上に小さくなったと判定すると、リハビリテーション動作の負荷を上げ、関節連関が、ある基準値以上に大きくなったり、所定値以上に大きくなった状態が所定時間以上継続したりしている（関節連関が改善していない）と判定すると、リハビリテーション動作の負荷を下げる。

【0072】

なお、関節連関が出るか否かには、目標オブジェクトの大きさ、角度、高さ、距離、動きの方向や動きの有無、動きのスピード、色、形状、視認性、コントローラ等の点推定で重ね合わせるための装置や指標の大きさ、色、形状、視認性、背景情報の有無、バックグラウンドサウンドの有無などが影響を有する。関節連関を出させて、それを鎮めることが本システムにおけるリハビリテーション動作の目標となる。つまり関節連関が、治療の指針となる。リハビリテーション動作中にユーザの膝や肩を押すことにより関節連関が抜けていくこともある。このように、脳内神経回路のほつれを徒手的に強制的に修正することも可能である。

【0073】

視覚を遮断しつつリーチング（点推定）を行わせる状況で、このように要求動作が達成されるごとにフィードバックを行うことによって、脳が協調運動障害を修正、改善させるきっかけとなる。すなわち、関節連関および協調運動障害が改善する。この改善はフィードバック時の５感の刺激数が多いほど効率的に進み、あるいは長期的に改善が記憶として保持される。例えば１つの感覚フィードバック時に比べ、２つの感覚フィードバックを行うことで数日かけて改善されていた症状が、時間単位で改善するようになる。あるいは２つの感覚フィードバック時に比べ、３つの感覚フィードバックを行うことで数時間かけて改善されていた症状が、数分単位で改善するようになる。さらに１つの感覚フィードバック時には改善が得られてもすぐに元に戻っていた症状でも、２つの感覚フィードバックを行うことで改善効果が数日間維持されるようになる。あるいは２つの感覚フィードバック時には改善が得られても数日で元に戻っていた症状でも、３つの感覚フィードバックを行うことで改善効果が数週間維持されるようになる。このような本治療の特性を表現するため、医療現場において本治療は「脳再プログラミング療法（brain reprogramming therapy, BRT）」、「脳再編成療法（brain re-wiring therapy, BRT）」、あるいは「運動協調療法（motor coordination therapy, MCT）」、「体性認知協調療法（somat-cognitive coordination therapy, SCCT）」等とも表現されている。

【0074】

関節連関に対する点推定の精度制御の流れは以下の通りである。（１）デフォルト設定でのリハビリテーション動作を行う。（２）関節連関が大きすぎる（ガニ股になる角度や距離、肩のねじれ、腰のねじれ、頭のねじれなどが閾値を超えている）（３）点推定の要求難度を下げる（点推定パラメータを変更）（４）関節連関が適度に小さくなる（５）左右交互にリハビリテーション動作を繰り返す（６）関節連関がなくなる（７）点推定の要求精度を上げる（点推定パラメータを変更）（８）関節連関が適度な大きさになる（９）（５）に戻る。

【0075】

なお、（５）において、ユーザの体に触れたり、声掛けを行ったりして関節連関を抑えてもよい。また（７）において、声掛けでユーザに負荷を与えて、点推定の要求精度を上げることと同様の効果を図ってもよい。ユーザの体に触れることにより、より早くユーザの関節連関が解けることが分かってきている。

【0076】

以上の通り、ユーザの直接の視界を遮断して点推定をさせ、目標オブジェクトを介した強力な運動指令により深層筋が収縮して全身のアライメントを整える。その際、関節連関、あるいはentangled SCANという脳神経のほころびを見つけて、点推定の要求精度（各種パラメータ）を制御しながら、関節連関が静まるまでリハビリテーション動作を繰り返す。

【0077】

複数の関節連関が現れている場合には、どの関節連関をメインに修正するかを判断する。例えば大きく動いた膝（股関節）を最初に修正した上で、次の関節（例えば足首関節の不随意運動で足の裏が内側に向く）に移る。

【0078】

関節連関をリカバーさせることを目標にしてリハビリテーション動作を行えば、非常に効果的にユーザの認知運動能力を向上させる（脳のほつれをほぐす）ことが可能となる。関節連関が、治療の指針となる。脳に刺激（点推定要求）を入れて、関節連関の反応を見て治療方針を判断する。関節連関が現れている身体部位に積極的に接触することにより、効果的な治療が可能となる。

【0079】

［レーダスクリーン］
制御部２１２は、レーダスクリーン画像２５０をヘッドマウントディスプレイ２３３の表示画面２４０に表示させる。レーダスクリーン画像２５０は、目標オブジェクト１５２の発生を報知するための報知画像である。レーダスクリーン画像２５０は、次に出現する目標オブジェクト２４１、２４２の位置が、仮想空間内の基準方向（通常、キャリブレーションにより椅子２２５の正面方向に設定）に対して、相対的にどちらの方向であるかを報知する。レーダスクリーン画像２５０は、さらに、発生する目標オブジェクト２４１、２４２の位置が、ユーザ２２０からどの程度離れているかも報知する。なお、報知画像はレーダスクリーン画像に限定されず、文字や矢印、記号やイラスト、光や色の種類、強弱、点滅等によって報知されてもよい。また、報知方法は画像に限定されず、音声、振動または音声、振動、画像のいずれかの組み合わせによって行われてもよい。

【0080】

制御部２１２は、ユーザ２２０の頭の向きにかかわらず、レーダスクリーン画像２５０をヘッドマウントディスプレイ２３３の表示画面２４０の中央部分（例えば－５０度～５０度の範囲内）に表示させる。ただし表示部分は中央に限定されず、例えば画面の四隅や上端、下端、左端、右端の任意の場所でも構わない。患者は、レーダースクリーンに表示される目標オブジェクトの位置や角度、数の情報から次に行うべき運動動作の難度を推定することが可能であり、患者によってより困難な動作が予測される場合は関節連関がより顕在化される。

【0081】

レーダスクリーン画像２５０は、上方から見たユーザの頭を表わす頭画像２５１と、頭画像２５１の周囲を複数のブロックに分割したブロック画像２５２と、ユーザの視野領域を示す視野領域画像としての扇型画像２５３と、を含む。目標オブジェクトの位置を示す目標位置画像は、ブロック画像２５２のどのブロックが着色または点滅、点灯されるかによって示される。これにより、ユーザ２２０は、自分が向いている方向に対して左側に目標オブジェクトがあるのか、右側に目標オブジェクトがあるのかを、知ることができる。なお、本実施形態では、ブロック画像２５２が固定されて、扇型画像２５３が動く構成としているが、本発明はこれに限定されるものではなく、扇型画像２５３や頭画像２５１を固定しつつ、ブロック画像２５２を頭の向きに応じて動かしてもよい。具体的には頭が左に向けば、ブロック画像２５２が右に回転する構成でもよい。

【0082】

この例では、ブロック画像２５２の着色位置およびその色により、仮想空間内の基準方向に対して左方向の一番遠い位置に、次の右手用目標オブジェクト２４２が現われることを示している。そして、扇型画像２５３の位置および頭画像２５１の向きにより、既にユーザは、左方向に向いていることが分かる。

【0083】

［各種設定事項、タスクデータ］
設定部２１４は、ユーザの基本情報（ＩＤ、姓名、性別、年齢、疾患、既往症、各種の認知機能および運動機能評価指数、各種検査結果など）を設定することができ、ユーザデータベースに検索可能に記憶している。ユーザＩＤは、リーチング評価部２１５において、過去のリハビリテーションの記録（施設、日時、タスクデータ）とも紐付けられている。

【0084】

設定部２１４は、まず、マニュアルモード（タスク一つ一つについて、タスクデータとして点推定パラメータをそれぞれ設定するモード）、テンプレートモード（あらかじめ設定された連続する２つ以上のタスクデータをタスクデータセットとして用いるモード）、あるいは機器に自動的にタスクを生成させるお任せモード（オートモード）のいずれか、を設定する。設定部２１４は、オペレータの指示に基づきテンプレートモードで使用するタスクデータセットの作成を行うことができる。

【0085】

設定部２１４は、さらに、オペレータの操作により、水平(静止）タスク（背景映像なし）、水平タスク（背景映像あり）、落下タスク（背景映像なし）、落下タスク（簡易背景映像）、落下タスク（複雑背景映像）の中から、タスクの種類を選択することができる。なお、本実施形態では、上記５種類のタスクについて説明するが本発明はこれに限定されるものではない。

【0086】

水平（静止）タスクとは、図１０を用いて後述するように静止した、あるいは三次元空間上に固定された目標オブジェクトに対して、所定時間内（例えば妨害オブジェクトが近づくまでの間）にセンサでリーチングすることを要求するタスクである。

【0087】

水平タスクには、背景映像を含むパターンと、含まないパターンが用意されている。また、それぞれＢＧＭをオンにすることもオフにすることもできる。

【0088】

落下タスク（背景映像なし）とは、図２Ａで示したように、背景（水平線）の絶対位置が仮想空間内で変化しない状態で、上方から落下してきた目標オブジェクトにセンサでリーチングすることを要求するタスクである。

【0089】

落下タスク（簡易背景映像）とは、図１１を用いて後述するように、背景映像が存在し、さらに注意をそらす刺激（ここではサルが木から木に飛び移るような映像）が主に画面の上半分のみに配置されている状態で、上方から落下してきた目標オブジェクトにセンサでリーチングすることを要求するタスクである。なお、この際の注意を逸らす刺激としての映像の配置は画面上半分でなくともよい。例えば左半分、右半分でもよいし、下半分でもよいし、刺激配置位置は必ずしも画面の半分を占めなくとも、３分の１でも４分の１でも、あるいは注意をそらす刺激強度が弱い見せ方をしていれば画面の大部分、例えば５分の３に配置されていてもよい。また、注意をそらす映像刺激もサル等の動物に限定されるものでなくともよく、例えば葉っぱが木から落ちてくるようなものでもよいし、画面内を動き回る映像に限定されない。

【0090】

落下タスク（複雑背景映像）とは、図１２、図１３を用いて後述するように、背景映像が複雑に変化している状態、あるいは注意を逸らす映像刺激が画面全体に配置されている状態で、上方から落下してきた目標オブジェクトに、センサでリーチングすることを要求するタスクである。また、イベント発生から実際に運動を要求するまでの期間が延長される仕様である等、落下タスク（複雑背景映像）では目標オブジェクトの出現予測およびその記憶を要求される。

【0091】

図３は、オペレータが操作するための画面（操作パネル）３００を示す図である。本実施形態では、一例として、マニュアルモードでの落下タスクの操作パネル３００について説明する。マニュアルモードでは、設定部２１４が、このような操作パネル３００を情報処理装置２１０に接続されたディスプレイ２９０などに表示させる。本実施形態では、直感的な操作パネル３００によって点推定パラメータを設定することで、リハビリテーション支援用のタスク作成を行う。

【0092】

操作パネル３００を表示するディスプレイは、情報処理装置２１０に接続されたプロジェクタや外部ディスプレイ２９０でもよいし、情報処理装置２１０に内蔵されたディスプレイでもよい。操作パネル３００は、ユーザ視野領域３０１と各種パラメータ設定領域３０２とスコア表示領域３０３とタスク履歴表示領域３０４とチェックボックス３０５と停止ボタン３０６と再センタボタン３０７とＢＧＭコントロールボタン３０８とを含んでいる。図３の例では、操作パネル３００が実際のユーザ２２０の様子を表わしたユーザ画像領域３０９を含んでいるが、本発明はこれに限らない。

【0093】

画面右側のユーザ視野領域３０１は、ヘッドマウントディスプレイ２３３に表示されユーザ２２０が見ている画像を表示する。これにより患者の視界を確認できる。図２Ａでは省略したが、目標オブジェクト２４１、２４２の周囲には、その目標オブジェクトの視認性を向上させるための視認補助オブジェクト３４１，３４２が表示される。認知機能の低いユーザ２２０の場合、視認補助オブジェクト３４１，３４２を大きく設定して、目標オブジェクトを見つけやすくしてあげる。本実施形態にかかるリハビリテーション支援システムにおいては、一般的なゲーム画面などと全く異なり、このようなタスクを達成しやすくするための工夫が随所に行われている。

【0094】

逆に言えば、ユーザには半径２０ｃｍの円（視認補助オブジェクト）が見えているが、実際にはその円の中央に位置する半径１０ｃｍのボール（目標オブジェクト）にタッチしなければタスクを完全に完了したことにならない。視認補助オブジェクトのサイズが小さければ、ユーザは目標オブジェクトを見つけるのが困難になる。視認補助オブジェクトを大きくすれば、ユーザは目標オブジェクトを見つけやすくなる。目標オブジェクトを大きくすれば、センサのリーチングずれの許容量が大きくなる。目標オブジェクトを小さくすれば、センサのリーチングずれの許容量が小さくなり、よりシビアにリハビリテーション動作を評価できる。視認補助オブジェクトの半径と目標オブジェクトの半径を一致させることもできる。これらの設定により、フィードフォーワードの精度、すなわちユーザの脳が行う情報処理の精度を定量的に変化させる。身体機能（上肢機能や歩行機能、体幹機能、バランス機能）、認知機能（空間認知や注意機能を含む）、感覚機能（内耳、前庭系や触覚、温痛覚、位置覚、深部感覚を含む）に対する治療アプローチ、関節連関の顕在化の程度をコントロール可能となる。

【0095】

各種パラメータ設定領域３０２は、タスクを規定する複数のパラメータを設定するための領域である。各種パラメータ設定領域３０２は、左手用目標オブジェクトの速度設定領域３２１、左手用目標オブジェクトの半径設定領域３２２、左手用目標オブジェクトの視認補助オブジェクトの半径設定領域３２３および左手用アバターオブジェクトのセンサ半径設定領域３２４を含む。各種パラメータ設定領域３０２は、右手用目標オブジェクトの速度設定領域３２５、右手用目標オブジェクトの半径設定領域３２６、右手用目標オブジェクトの視認補助オブジェクトの半径設定領域３２７および右手用アバターオブジェクトのセンサ半径設定領域３２８を含む。各種パラメータ設定領域３０２は、さらに目標オブジェクト位置入力領域３２９を含む。

【0096】

センサ半径設定領域３２４，３２８で設定するセンササイズが大きければ、手の位置が目標オブジェクトから大きくずれていてもタスクを達成したことになるため、リハビリテーション動作の難易度は下がる。逆にセンササイズが小さければ、手を目標オブジェクトの中央領域（評価用サイズ）に、正確に動かさなければならないため、よりリハビリテーション動作の難易度が上がる。図３Ａの例では、センササイズは左右それぞれ２ｃｍとなっている。この要素もフィードフォーワードの精度、すなわち脳に対する情報処理精度を定量的に変化させ、身体機能（上肢機能や歩行機能、体幹機能、バランス機能）、認知機能（空間認知や注意機能を含む）、感覚機能（内耳、前庭系や触覚、温痛覚、位置覚、深部感覚を含む）に対する治療アプローチ、関節連関の顕在化の程度をコントロール可能としている。

【0097】

目標オブジェクト位置入力領域３２９は、発生させる目標オブジェクトの位置（ユーザからの距離と基準方向からの角度）を設定するための画像であり、レーダスクリーン画像２５０を拡大した形状となっている。入力領域３２９は、目標オブジェクトのユーザからの距離と基準方向からの角度が異なる、複数のブロックを含んでいる。複数のブロックのいずれかを選択する操作がＰＣあるいはテンキー２９０によって行われた場合に、指定されたブロックの位置に対応する仮想空間内の位置に、目標オブジェクト２４１、または目標オブジェクト２４２を発生させる。入力領域３２９は、ここでは１８個のブロックに分かれているが、本発明はこれに限定されるものではない。

【0098】

図３Ａの例では、仮想空間の中で、左側の遠い場所において４５ｃｍ／ｓの速度で落下する半径１０ｃｍの目標オブジェクト２４１に対して、２ｃｍのセンサ部分を含むアバターオブジェクト２４３を、タイミング良く接触させることがタスクとなる。アバターオブジェクト２４３が視認用オブジェクト３４１に触れた時点では、目標オブジェクト２４１は消滅せず、タスクの完全な達成とはならない（一定の点数は入りgood評価される）。目標オブジェクト２４１、２４２にアバターオブジェクト２４３、２４４のセンサが触れて初めてタスクの完全な達成(perfect評価)となる。

【0099】

スコア表示領域３０３には、目標オブジェクトの出現位置ごとのタスクの合計回数および、そのタスクを何回達成したかを示す回数が示されている。ここでは、分数形式とパーセント表記でスコアを表記しているがこれに限定されない。リーチング評価部２１５は、リハビリテーション動作の後、このスコア表示領域３０３の値を用いて、リハビリテーション評価ポイントを導き出す。静止タスク、水平タスク、落下タスク（背景映像なし）、落下タスク（簡易背景映像）、落下タスク（複雑背景映像）のいずれのタスクを行ったかによって、上記のスコアに重み付けをしてもよい。例えば、静止タスクは１倍、水平タスクは１．２倍、落下タスク（背景映像なし）は１．５倍、落下タスク（簡易背景映像）は２倍、落下タスク（複雑背景映像）は３倍、といった重み付け係数をあらかじめ定めておけばよい。そして、スコアに重み付け係数を乗算してポイントを算出してもよい。

【0100】

タスク履歴表示領域３０４には、合計リハビリ時間、合計タスク数、０度、４５度、９０度位置それぞれの左手タスク合計数、０度、４５度、９０度位置それぞれの右手タスク合計数が表示される。このタスク履歴表示領域３０４を確認することで、オペレータはユーザに対してどの程度の負荷を与えたか把握することができる。

【0101】

また、設定部２１４は、各種パラメータ設定領域３２１～３２９に対する入力を、テンキー２７０から受け付けることもでき、操作パネル３００は、テンキー２７０による目標オブジェクトの出現位置の操作を受け付けるか否かを設定するチェックボックス３０５を有している。ここでは、チェックボックス３０５がチェックされているので入力デバイスによる操作が行える状態である。

【0102】

停止ボタン３０６は、タスクの一時停止または終了を指示するためのボタンである。これらの停止指示については、テンキー２７０から行なうことができない仕様になっている。マニュアルモードの場合、目標オブジェクト位置入力領域３２９のクリックがタスク開始の指示になり、そのクリックがなければ、目標オブジェクトは出現しなくなる。つまり一時停止状態になる。一方、テンプレートモードでは、停止ボタン３０６を選択することで目標オブジェクトの出現が停止される。終了ボタンが選択されると、リーチング評価部２１５は、それまでのタスクのスコアからリハビリテーション評価ポイントを算出する。

【0103】

再センタボタン３０７は、ユーザ２２０のヘッドマウントディスプレイの位置を、仮想空間内の中央位置に再定義するためのボタンである。ＢＧＭコントロールボタン３０８は、背景音のオンオフを行なうためのボタンである。

【0104】

再センタボタン３０７が操作されると、制御部２１２は、その瞬間のヘッドマウントディスプレイ２３３の位置を原点とし、その瞬間のヘッドマウントディスプレイ２３３の向きを基準方向とする仮想空間を再構築する。ＢＧＭコントロールボタン３０７を操作してタスク実行中の背景音をなくすことで、タスクの認知負荷を軽減して、体の動きに集中させることができる。一般に、関節連関がでたユーザにおいて、背景音をなくせば、タスク中の関節連関が収まる傾向にある。逆に、関節連関が出ないユーザに対して背景音をオンにして、あえて関節連関を出現させることもできる。

【0105】

テンプレートモードのためのテンプレート設定ではさらに、タスク設定パラメータとして目標オブジェクトの発生間隔を設定できる。

【0106】

制御部２１２は、レーダスクリーン画像２５０に加えて、情報バー３１０をヘッドマウントディスプレイ２３３の表示画面２４０に表示させてもよい。情報バー３１０は、プレイヤー名３１１やタスク達成度３１２やプレイ開始後の経過時間３１３などを表示する。さらに情報バー３１０は仮想空間内の地平線２４６と常に平行である。患者の頭位や体軸がゆがむと、ヘッドマウントディスプレイ２３３の傾きに追従するレーダスクリーン画面２５０と情報バー３１０との平行関係が崩れる。このため、患者は視覚補助的に内耳情報を補正することが可能であり、セラピストも患者の体軸のゆがみに気づきやすい。図３では、頭位が右側に２０度傾いている際の映像を例示した。このようにヘッドマウントディスプレイ２３３のユーザーインターフェースは患者がリハビリに没頭できるための要素に加えて、医学的な実利を兼ね備えた設計となっている。

【0107】

また、図３Ｂは他の例としての操作パネル３５０を示す図である。操作パネル３５０では、操作パネル３００に比べると、関節連関発生ボタン３５１が設けられている点で大きく異る。オペレータは、ユーザ２２０の動きを確認して、関節連関が現れていれば、関節連関発生ボタン３５１をクリックする。また、ユーザ画像３０９上に、ブルズアイ状のヒートマップ３５２を重畳表示して、関節連関が発生している可能性の高い画像領域を赤く示してもよい。

【0108】

設定部２１４は、左目標オブジェクト２４１の生成と、右目標オブジェクト２４２の生成とが交互に行われるように設定することが可能であり、設定部２１４はその設定に応じて制御部２１２に指示を送る。設定部２１４は、左目標オブジェクト２４１の、仮想空間２４０内における奥行方向の生成位置および、右目標オブジェクト２４２の、仮想空間２４０内における奥行方向の生成位置をそれぞれ設定可能である。

【0109】

目標オブジェクトの発生タイミングと、その目標オブジェクトの垂直方向の移動速度との両方を制御することにより、ユーザのリハビリテーション動作が必ず左右交互となるように制御する。つまり、最もシンプルな方法では、同時に左右の目標オブジェクトを発生させることはなく、右の目標オブジェクトへのリーチングが検知された後、左の目標オブジェクトを発生させる。しかし、これに限定されず、様々な制御方法が可能である。つまり、複数の目標オブジェクトを同時に発生させつつ、その移動速度が右→左→右→左の順に小さくなるように変えることで左右交互の運動を促してもよい。例えば、右オブジェクトへのリーチングが検知された後、右オブジェクトと左オブジェクトを同時に発生させて、あるいは、右オブジェクトを先に発生させて、右オブジェクトのスピードを速くし、左オブジェクトを追い越す動作をさせてもよい。このようにすれば脳に高い負荷をかけることができる。制御部２１２が、ユーザのリハビリテーション動作が左右交互となるように制御すればよい。

【0110】

一方、右側のみに麻痺がある場合や左の上半身を積極的にリハビリしたい場合など、右の目標オブジェクトを下方で、左の目標オブジェクトを比較的上方でリーチングさせたい場合、右の目標オブジェクトをゆっくりのスピードで発生させたあと、間隔をあけて左の目標オブジェクトを速いスピードで発生させてもよい。つまりリハビリテーションを行いたい身体の上下方向位置に応じて（リーチングさせたい目標オブジェクトの位置に応じて）、目標オブジェクトの発生タイミングおよびスピードの少なくとも一方を制御する。膝や下半身のリハビリテーションの場合、低い位置でリーチングさせるように目標オブジェクトの発生タイミングや速度を制御する。また、認知負荷を上げたい場合、左→右→右の順で発生させるが、１つ目の目標オブジェクトだけゆっくり移動させ、２発目、３発目を速いスピードで移動させれば。結果的に右、左、右の順番にリーチングさせることが可能となる。

【0111】

このようにして脳内の交通整理（絡まったSCANを解くという意味合いでrewired）を行うことで、痛覚変調性疼痛を含む慢性疼痛や足ムズムズ症候群（大脳基底核の異常）等の現代医学では治療が難しい疾患の症状を改善させることが可能となる。

【0112】

設定部２１４は、目標オブジェクト２４１、２４２の発生を報知したタイミングから、目標オブジェクト２４１、２４２を発生させるタイミングまでの遅延時間を設定してもよく、これによりユーザ２２０に対して与える認知的な負荷を制御することができる。つまり、ユーザは、レーダスクリーン画像２５０などによって目標オブジェクトが発生する仮想空間内の位置（ヘッドマウントディスプレイをどの方向に向ければ表示されるかを表す位置）を知ってから、実際に目標オブジェクトが発生するまでの時間、自分が行なうべき動作を継続的に記憶保持しなければならず、この「記憶時間」が、ユーザにとっての認知負荷となる。

【0113】

また設定部２１４は、「目標オブジェクト１５２を発生させるタイミングまで」ではなく、「目標オブジェクト１５２がユーザ２２０の届く範囲に接近するまで」の時間を変更することにより、認知的な負荷を制御してもよい。設定部２１４は、目標オブジェクト２４１、２４２以外の背景画像２４５をヘッドマウントディスプレイ２３３に表示させることにより、ユーザ２２０に対して認知的な負荷を与えてもよい。なお、認知負荷を変更する場合、ユーザに対してあらかじめ認知負荷を上げるまたは下げることを通知することが望ましい。通知方法は視覚的に文字や記号を用いて行っても、音声によって行っても、例えば肩や肘、腕や足を叩くなど、体の一部に触れるような形で行ってもよい。

【0114】

設定部２１４は、ユーザが身体動作を行う身体部位とは異なる関節の動き、つまり関節連関の程度に応じて身体動作の難度を制御する。制御部としての設定部２１４は、点推定パラメータとして目標オブジェクトの大きさ、ユーザからの距離、角度、スピード、背景の有無、音楽の有無、視認補助オブジェクトの大きさを制御する。例えば、音楽の有無によって関節連関が大きく変わる場合がある。音楽の種類によっても発生する関節連関の大きさが変化する。例えば、小鳥のさえずり（認知の悪い人にはこれでも影響が大きい）に比べてリズム音楽の繰り返しは、より脳が情報をバックグラウンド処理するための作業量、すなわち認知負荷が高くなるため、関節連関が大きく出る。また、背景情報の複雑性も同様に、脳が情報をバックグラウンド処理するための作業量、すなわち認知負荷に大きく関連する。例えば、何も存在しない三次元空間よりもなんらかの背景や景色があった方が認知負荷は大きく、さらにその中に動く動物や物体が存在するほど、そしてその動く動物や物体が画面のより広範囲に出現するほど認知負荷が大きくなり、関節連関がより顕著に出現する。つまり、基本的に点推定の精度を上げようとすればするほど、あるいは音や背景情報といった脳のバックグラウンド処理の負荷が高まるほど点推定に使える脳の予備量が減るため、関節連関が強く出てくることがわかっている。

【0115】

［リーチング評価］
リーチング評価部２１５は、ユーザ２２０が達成したタスクの量および質に応じて、ユーザのリハビリテーション動作を評価し、ポイントを加算する。ここで達成したタスクの質とは、「あっぱれ」か「おみごと」か、つまり、どこまで目標オブジェクトにアバターオブジェクトを近づけることができたかを含む。リーチング評価部２１５は、達成したタスクに対して、それぞれ、異なるポイント（遠いオブジェクトには高いポイント、近いオブジェクトには低いポイント）を付与する。リーチング評価部２１５は、積算されたポイントに応じて、タスクを更新することができる。例えば、課題達成率（目標達成数／課題数）などを用いてタスク（目標オブジェクトの属性）を更新してもよい。リーチング評価部２１５は、動作検出部２１１が検出したリハビリテーション動作と、制御部２１２によって表示された目標オブジェクトが表わす目標位置とを比較して、ユーザ２２０のリハビリテーション能力を評価する。具体的には、動作検出部２１１が検出したリハビリテーション動作に対応して移動するアバターオブジェクト２４３、２４４と目標オブジェクト２４１、２４２とが重なったか否かを、３次元仮想空間中の位置の比較により決定する。これらが重なれば、一つのリハビリテーション動作をクリアしたものと評価し、ポイントを加算する。

【0116】

リーチング評価部２１５は、積算されたポイントに応じて、目標課題（タスクデータ）を更新してもよい。例えば、課題達成率（目標達成数／課題数）などを用いて目標課題を更新してもよい。

【0117】

図４は、リーチング評価部２１５で記憶される履歴データベース４００を示す図である。履歴データベース４００は、タスクＩＤと時間（目標オブジェクト発生タイミング）と目標種別（左右）と角度（０～１８０）と距離（short, middle, long）と目標オブジェクトスピードと目標オブジェクト半径と視認補助オブジェクト半径とセンサ半径と結果（あっぱれ:2,おみごと:1,失敗:0）とを含む。

【0118】

つまり、履歴データベース４００を見れば、リハビリテーション開始から何秒後に、どのような種別、半径、視認半径の目標オブジェクトがどのようなスピードでどこに落下して、どの大きさのセンサでリーチングをした結果、リーチング達成できたかがわかる。そしてその際の関節連関の発生も履歴として蓄積してもよい。さらに、この履歴データには、当然患者ＩＤが紐付けられている。各履歴データに対して、患者の映像データを紐付けてもよい。このような履歴データは、ユーザの認知機能、運動機能の変化を解析するに役立てることができる。

【0119】

［テンキー］
図２Ａに戻ると、ユーザに与えるタスクの制御（パラメータの設定）は、ワイヤレス型テンキー２７０を用いて実行できる。オペレータ２８０は、ユーザ２２０の様子、関節連関２２１の大きさおよび、ユーザの視界を確認しながら、片手でテンキー２７０を操作する。両手での介助が必要な場合、テンキー２７０を床において足で操作することも可能である。設定部２１４は、テンキー２７０からの入力に応じて、目標オブジェクト２４１，２４２の出現位置を設定する。

【0120】

テンキー２７０の外観を図５に示す。本実施形態では、市販のテンキーの１～９ボタンに、本システム用のシールを貼ったものを利用する。テンキーの１，４，７，３，６，９の各ボタンの役割を表す方向シールと、テンキーの２、５、８の各ボタンの役割を表す距離シールと、を用意し、市販のテンキーの１～９のボタンに貼り付けることにより図５のようなテンキー２７０が完成する。つまりそれらのシールによる表記内容も、本実施形態にかかるシステムの一部である。シールは、テンキーの本来の数字と、各ボタンの役割を表す矢印および文字とを表示内容として含む。シールは、テンキーの１、４、７と、テンキーの３、６、９とを異なる色で表示し、目標オブジェクトの色と対応した色である。なお、ここでは利便性のためシールを用いたが、上記のシールに記載された内容をテンキーに直接プリントしてもよいし、レーザー印字技術等を用いて削り表記、刻印、彫刻してもよい。

【0121】

このテンキー２７０は、ユーザの左真横（ユーザを原点とした分度器表記で０度方向）、左斜め前方（４５度方向）、前方（９０度方向左側）、前方（右９０度方向側）、右斜め前方（１３５度方向）、右真横（１８０度方向）の６方向に目標オブジェクトを表示できるシステムに対応する。本実施形態における目標オブジェクトの出現方向は単なる例示に過ぎず、本発明はこれらの角度に限定されるものではない。テンキー２７０の１，４，７，３，６，９の各ボタンは、上記の６方向にそれぞれ割り当てられている。例えば、１のボタンにより、左横（０度に限らず、例えば－１０度～１０度の方向）、３のボタンにより右横方向（１８０度に限らず、例えば１７０度～１９０度方向）に目標オブジェクトを出現させてもよい。同様に、７のボタンによりが左手タスク用の目標オブジェクトを正面方向（９０度に限らず例えば８０～１００度の方向）に出現させてもよい。９のボタンにより、右手タスク用の目標オブジェクトを正面方向（９０度と限らず例えば、８０～１００度の方向）に出現させてもよい。４のボタンにより、左側の正面と横の間の任意の斜め方向（例えば３０度～６０度の方向）に左手タスク用の目標オブジェクトを出現させてもよく、６のボタンにより、右側の正面と横の間の任意の斜め方向（例えば１２０度～１５０度の方向）右手タスク用の目標オブジェクトを出現させてもよい。

【0122】

さらに、本実施形態の変形例としては、図６Ｂに示すように、オペレータがユーザ正面に立ち、ユーザを見ながらテンキーを操作する場合用に、上下左右が逆になるようなキー割当としてもよい。あるいは、図６Ａのキー割当と図６Ｂのキー割当とを選択できる構成でもよい。

【0123】

テンキー２７０の１、４、７の各ボタンが押されると、制御部２１２および設定部２１４は、ユーザの左半身（ここでは左手だが、左足などでもよい）用の目標オブジェクトを出現させる。テンキー２７０の３、６、９の各ボタンが押されると、制御部２１２および設定部２１４は、ユーザ右半身（ここでは右手だが、右足などでもよい）用の目標オブジェクトを出現させる。

【0124】

テンキー２７０の２、５、８の各ボタンは、目標オブジェクトの出現位置として、あらかじめ仮想空間で設定された基準位置からの出現距離を設定するために用いられる。具体的に、２のボタンが押されると、設定部２１４はユーザに近い位置に目標オブジェクトを出現させるよう設定する。８のボタンが押されると、設定部２１４はユーザから遠い位置に目標オブジェクトを出現させるよう設定する。５のボタンが押されると、設定部２１４はそれらの中間位置に目標オブジェクトを出現させるよう設定する。この時、２、５、８の距離ボタンが押されるとその距離情報が保存され、次回以降毎回２、５、８の距離ボタンで距離を指定する必要がなくなる。すなわち、５を押した後に１、４、７、３、６、９を押せば全ての角度に対して中距離のタスクが出現し、２か８のボタンを押さない限り距離情報は変更されない。

【0125】

テンキー２７０は、シンメトリカルな配置となるように機能が割り当てられており、テンキーの７と９のボタンが正面方向、４と６のボタンが斜め方向、１と３のボタンが左右方向に目標オブジェクトを出現させるために用いられる。

【0126】

設定部２１４は、テンキー２７０の「／」ボタン５０１などに目標オブジェクトのスピードなどのパラメータ循環選択機能をもたせてもよい。「／」ボタン５０１を繰り返し押すことにより、数値変更可能なパラメータが、左手用目標オブジェクトの速度設定領域３２１→左手用目標オブジェクトの半径設定領域３２２→左手用目標オブジェクトの視認補助オブジェクトの半径設定領域３２３→左手用アバターオブジェクトのセンサ半径設定領域３２４→右手用目標オブジェクトの速度設定領域３２５→右手用目標オブジェクトの半径設定領域３２６→右手用目標オブジェクトの視認補助オブジェクトの半径設定領域３２７→右手用アバターオブジェクトのセンサ半径設定領域３２８の順に切り替わり、その後左手用目標オブジェクトの速度設定領域３２１に戻る。

【0127】

さらにテンキー２７０の「＋」ボタン５０３「－」ボタン５０２にパラメータ値の増減機能をもたせてもよい。この場合、変更するパラメータの種類によって「＋」「－」ボタンが１回押された場合の増減量が異なることも好ましい。例えば、速度設定は５ｃｍ毎秒事に増減する一方で、オブジェクトの半径に関わる情報は１ｃｍごとに増減する。さらにテンキー２７０の「／」ボタン５０１と「＊」ボタン５０４とが同時に押された場合に、チェックボックス３０５のオン・オフを切り替える。つまりテンキーからの入力に基づいて、目標オブジェクトの出現位置を設定するか否かを切り替える。

【0128】

なお、２つのテンキーを情報処理装置に接続してオペレータ二人で操作してもよい。教習車のように、指導者が指導しながらテンキーを操作させることが可能となる。

【0129】

図６は、テンキー２７０の操作方法をわかり易く説明した図である。ここで明確なようにテンキー２７０には、タスクを終了させる機能は実装されていない。誤操作によるタスク中断やタスク終了を回避するためである。

【0130】

［処理の流れ］
図７は、情報処理装置２１０における処理の流れを示すフローチャートである。ステップＳ７０１において、キャリブレーション処理として、リハビリテーション動作の目標位置をユーザ２２０に合わせて初期化する。具体的には、ユーザ２２０に最初にキャリブレーションとして行動可能範囲を取得する作業を行ってもらい、その範囲を初期値に設定した上で目標をユーザに合わせて初期化する。この初期値は、ユーザの動作可能範囲に合わせて設定してもよいし、治療を提供するセラピストがユーザの身体認知機能や目標とする治療効果を加味して決定してもよい。

【0131】

図８は、キャリブレーション画面８００の一例を示す図である。キャリブレーション画面８００では、操作パネル３００と同様に、画面右側のユーザ視野領域８０１は、ヘッドマウントディスプレイ２３３に表示されユーザ２２０が見ている画像を表示する。ヘッドマウントディスプレイ２３３には、左右いずれかのうち、キャリブレーションしようとする側のアバターオブジェクト（この例では右手側のアバターオブジェクト２４４）を表示する。

【0132】

そして、ユーザの左真横、左斜め前方、左側前方、右側前方、右斜め前方、右真横の６方向のそれぞれについて、目標オブジェクトを出現させる最短距離（または静止モード、水平モードの場合は高さ情報も含む）と最長距離を決定する。そのため、その各方向について、ユーザ２２０がただ腕を伸ばしただけの最近位置座標（距離と高さ）と、体幹を前に倒して腕を最大限伸ばした位置座標（距離と高さ）を取得する。体幹を前に倒して腕を最大限伸ばした位置座標の９０％の位置を、目標オブジェクトを出現させる最遠位置座標（long座標）とする。腰が曲がっている人については、最近位置座標（基準位置）を高めに設定することが好ましい。また、膝など足に問題を抱えている患者については、最近位置座標（基準位置）を低めに設定することが身体障害に対する治療効果を高めるという点では好ましい。

【0133】

進行表示領域８０１は、キャリブレーションの進行程度を示す領域である。すでに座標を取得した位置については、進行表示領域８０１に○で描かれている。○で囲まれたＳは、最短距離（Short座標）、○で囲まれたＬは最長距離（long座標）を表す。各座標の取得タイミングは、コントローラに設けられたボタン操作に応じてユーザが行ってもよいが、ユーザ操作を無効にするチェックボックス８０２にチェックが入れられると、オペレータのみが座標入力可能となる。テンキーでは、座標取得は「Ｅｎｔｅｒ」ボタン５０５によって操作される。

【0134】

最近位置座標が入力されると、ヘッドマウントディスプレイ２３３には、壁８１１が出現する。その壁８１１を前方に押し込むことにより、ワイヤフレーム８１２が出現して、壁８１１が遠くに移動し（図９）、体幹を前に倒して腕を最大限伸ばした位置座標を取得する。このとき、「グググググ」と音がでて、コントローラが振動する。すなわち、視覚、聴覚、触覚の全てについて、壁を押している感覚をユーザに伝える。このようにユーザが直感的にキャリブレーションを行なうことができるよう高いアフォーダンスを実現している。その他、キャリブレーション画面８００には、測定値表示領域８０３、決定ボタン８０４、戻るボタン８０５、手動入力領域８０６、角度スキップボタン８０７などが用意されている。テンキーでは、決定は「Ｅｎｔｅｒ」ボタン５０５、戻るは「－」ボタン５０２、スキップは「＋」ボタン５０３によって操作される。

【0135】

図７に戻ると、次に、ステップＳ７０３において、モード選択を行なう。つまり、ユーザに対して、マニュアルモード（タスク一つ一つについて、タスクデータとして点推定パラメータをそれぞれ設定するモード）、テンプレートモード（あらかじめ設定された連続する２つ以上のタスクデータをタスクデータセットとして用いるモード）、あるいは機器に自動的にタスクを生成させるお任せモード（オートモード）のいずれか、を設定する。さらに、ここで、オペレータは、水平（静止）タスク（背景映像なし、あり）、落下タスク（背景映像なし）、落下タスク（簡易背景映像）、落下タスク（複雑背景映像）の中から、タスクの種類を選択する。

【0136】

次に、ステップＳ７０４において、タスクデータの設定を行なう。テンプレートモードの場合は、テンプレート（タスクデータセット）からの読出を行なう。

【0137】

ステップＳ７０５において、マニュアルモードでは、テンキー２７０の１、４、７の各ボタンが押されると、制御部２１２および設定部２１４は、ユーザ左手（または左半身）用の目標オブジェクトを出現させる。テンキー２７０の３、６、９の各ボタンが押されると、制御部２１２および設定部２１４は、ユーザ右手（または右半身）用の目標オブジェクトを出現させる。そしてタスク（制御部２１２による目標オブジェクトの表示およびアバターオブジェクトによる達成の評価）を開始する。

【0138】

ステップＳ７０７においてタスク終了と判断されるまで、ステップＳ７０４、Ｓ７０５の処理を繰り返す。

【0139】

ステップＳ７０７においてタスク終了と判断されると、ステップＳ７０９に進んで、タスクの達成度スコアを取得して、ポイントを算出する。

【0140】

本実施形態によれば、ユーザを片手で介助しながら、もう片方の手でテンキー操作を行ってタスクを発生させることができる。リハビリテーションでは、患者のペースに合わせることが最も重要である。テンキーを用いることにより、システムを操作しながら、患者の動作に集中でき、さらには介助することも可能となった。

【0141】

［他のタスク画面の例］
図１０～図１３は、本実施形態にかかるヘッドマウントディスプレイ２３３における表示の他の例を示す図である。

【0142】

図１０は、水平タスクをユーザに要求する画面の例であり、江戸時代の町並みを表す背景画像１００１において、目標オブジェクトとして印籠１０１１を示す画像が表示されている。さらに、印籠１０１１の下には、ユーザが守るべきアイテムとして千両箱１０１３が表示されており、忍者１０１５が奥の方から徐々に近づいてくる構成となっている。忍者１０１５のスピードは操作パネル３００の入力領域３２３で設定された速度となる（ここでのスピードは制限時間と同義となる）。なお、スピードが０に設定された場合はそもそも忍者が出現しない仕様となる。印籠１０１１には、視認補助オブジェクトとしての円１０１２が表示されている。忍者１０１５が千両箱１０１３に到達するまでに印籠１０１１をセンサオブジェクト（アバターオブジェクト２４３、２４４の先端中心）で触ればタスク達成となる。円１０１２は、赤と青の２種類が用意されており、赤い円１０１２で囲まれた印籠１０１１には右手に持ったコントローラ２３１０に対応する、右側の赤いアバターオブジェクト２４４を操作して接触させることがタスクとなる。一方青い円１０１２で囲まれた印籠１０１１に対しては、左手に持ったコントローラ２３４に対応する、左側の赤いアバターオブジェクト２４３を操作して接触させることがタスクとなる。

【0143】

印籠１０１１は、操作パネル３００の入力領域３２４で設定した位置（奥行きおよび角度）に表示される。印籠１０１１は、ユーザが仮想空間内でアバターオブジェクト２４３、２４４をタッチさせるまでは、位置が変わらない。つまり空間に固定された目標オブジェクトである（水平に体を伸ばすことを要求するため水平タスクと呼ぶ）。このような固定された目標オブジェクトは、小脳性運動失調や複視、内耳機能障害などのような疾患のリハビリや治療、股関節、膝関節、足関節など下肢の整形外科的疾患のリハビリや治療方法として非常に効果的である。つまり体の動かし方を忘れている患者に対して、フィードフォワードにより、限定した体の動きのイメージを脳に焼き付けさせることができ、関節周囲のアライメントを整えることができる。印籠１０１１の奥行方向の距離を遠くすることにより、運動強度を変えることができる。さらに、マルチチャネルバイオフィードバックを組み合わせることにより、大きく運動能力、身体機能、認知機能、感覚機能が改善する。またこのような水平タスクによれば脳皮質の再編成を促すことによって慢性疼痛の改善も図ることができる。あるいはケモブレインと呼ばれる認知機能障害や、抗がん剤を摂取したがん患者の位置覚が神経障害により低下する感覚機能障害を含めた末梢神経障害、新型コロナ（COVID-19）感染症に伴う後遺症症状等を回復させることもできる。目標オブジェクトがでる場所をあらかじめ教えて、ヒントを与えて認知負荷を下げてもよい。言語的インフォームよりも、体を触ることによる触覚インフォーム、複数回繰り返しの言語的インフォームやその組み合わせも認知負荷をさげるのに有効である。言語的インフォームの方法も、より端的で命令形に近いシンプルな指示を行うことで認知負荷を下げて行ってもよいし、あるいは例えば「青色だから？（右手で取るように）」等といったように、質問形式でより複雑な指示の形をとってもよいし、または「２で割り切れる数を言ったときは右手でとりましょう」等と計算等の認知課題を含む形で言語的インフォームを行ってもよい。なお、印籠１０１１の発生する横方向の位置や奥行きのみではなく、高さを設定可能に構成してもよい。

【0144】

図１１は、落下タスク（簡易背景映像）をユーザに要求する画面の一例である。図１１では、森のような背景画像１１０１中に、猿を表したトリガーオブジェクト１１０２と、りんごを表した目標オブジェクト１１０３とが表示されている。猿を表したトリガーオブジェクト１１０２が、りんごを表した目標オブジェクト１１０３を木から落として、ユーザに近づいてきた目標オブジェクト１１０３を、ザルを表したアバターオブジェクト１１０４で受け止めることでタスク達成となる。ここでも、制御部２１２、トリガーオブジェクト１１０２が木を揺らして、目標オブジェクト１１０３の発生を報知したタイミングから、所定時間経過後に目標オブジェクト１１０３の落下を開始させることにより、注意障害を惹起しながらユーザ２２０に対して認知的な負荷を与える。

【0145】

さらに、制御部２１２は、少なくとも２～５個の目標オブジェクト１１０３を３次元仮想空間内に同時に存在させることにより、ユーザ２２０に対してより認知的に極めて強い負荷を与えることができる。言い換えれば、制御部２１２は、３次元仮想空間内において少なくとも２個の目標オブジェクト１１０３を左右方向に異なる位置に発生させる。

【0146】

特に、目標オブジェクト１１０３の移動方向（図１１では落下方向）に対して異なる方向（図１１では左右方向）の複数の位置に少なくとも２個の目標オブジェクト１１０３を発生させれば、より一層の認知負荷を与えることができる。つまり、ユーザ２２０は上下方向の移動と、左右方向の発生位置の違いと、さらには奥行方向の落下位置の違いも考慮してコントローラ２３４，２３５を移動させなければならず、空間認知能力も試されていることになる。このように、タスクの所定時間の変更に加えて、トリガーオブジェクトを含む報知画像や報知音声に含まれる情報の種類や数、大きさ、空間的な広がりや位置、量等を調整することで、記憶保持すべき情報の複雑性、すなわちユーザに対して脳が情報処理すべき認知負荷を定量的に調整、コントロールすることが可能となる。

【0147】

図１２、図１３は、落下タスク（複雑背景映像）をユーザに要求するための画面例を示す図である。畑を表す背景画像１２０１において、目標オブジェクト出現のトリガーとなるトリガーオブジェクト１２０２として、農家を表す人の画像が表示されている。つまり、制御部２１２は、目標オブジェクト１２０３の発生を報知するための報知画像として、トリガーオブジェクト１２０２を表示する。トリガーオブジェクト１２０２が、芋の形をした目標オブジェクト１２０３を上方に投げてから所定時間後に、図１３のように画面上から大きな芋の形をした目標オブジェクト１２０３が出現する。落下してきた目標オブジェクト１２０３を、ザルの形をしたアバターオブジェクト１２０２を動かして受け止めることで、タスク達成となる。左右のアバターオブジェクト１２０２は、コントローラ２３４、２３５の動きに連動して画面上を移動する。

【0148】

設定部２１４は、トリガーオブジェクト１２０２が目標オブジェクト１２０３を上方に投げて、目標オブジェクト１２０３の発生を報知したタイミングから、目標オブジェクト１３０３を発生させるまでの遅延時間を設定することにより、ユーザに与える認知的な付加を調整することができる。遅延時間が長いほど、記憶を保持する期間が長くなり脳の情報処理の負荷が増す。なお、トリガーオブジェクト１２０２の動きと連動させて、レーダーチャート型の報知画像２５０でも同様のタイミングで目標オブジェクトの発生を報知したり、音声による報知を組み合わせたりしてもよい。

【0149】

このように、設定部２１４は、図２Ａのような地平線２４６のみの背景のタスクだけではなく、図１２、図１３のような、情報量の多い背景のタスクで、ユーザに対して認知的な負荷を与えることができる。つまり、目標オブジェクト１２０３が出現したことおよび目標オブジェクト１３０３が落下してくるであろう位置の記憶を困難にさせて、より実生活で必要な認知負荷に近い負荷をリハビリテーションのユーザに与える。

【0150】

特に制御部２１２は、背景画像２４５の少なくとも一部を時間と共に変化させることにより、ユーザ２２０に対して背景画像を脳内で処理するための認知的な負荷を与える。図１２の例では、例えば、背景画像１２０１の中で、雲１２０４を移動させたり、草木１２０５を揺らしたり、あるいは、目標オブジェクトと関係のない動物（不図示）を登場させたりしてもよい。これにより、ユーザ２２０に対して、目標オブジェクト１２０３に対する集中を妨げて、より目標オブジェクト１２０３が落下してくるであろう位置の記憶を困難にさせることができる。より専門的には、背景画像にタスクとは無関係の情報を表示することにより、目標オブジェクトに集中し難い環境を用意し、注意障害（より具体的には選択性注意障害、配分性注意障害、転換性注意障害、持続性注意障害）を意図的に惹起することで記憶を困難にさせて、認知負荷をコントロールしていると言える。

【0151】

リーチング評価部２１５は、目標オブジェクトが表わす３次元的な目標位置に対して、アバターオブジェクトがタイミング良く正確に到達したか否か、および、目標オブジェクトの発生報知から発生までの時間間隔と数、および背景画像の注意障害を惹起させる負荷の程度等の情報を用いて、ユーザの認知能力を評価する。

【0152】

図２Ａ、図１０～図１３に示したような様々なモード（表示画面）のうち、いずれをユーザに実行させるかによっても、点推定の要求精度は異なる。例えば、図２Ａのように背景がない場合に比べて、図１０→図１１→図１２の順に点推定の要求精度は上がる。また上述したように背景音によっても、点推定の要求精度は変わり、関節連関に影響がでる。

【0153】

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。

【0154】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるサーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の技術的範囲に含まれる。

【要約】

【課題】ユーザのリーチング目標のパラメータを、ユーザの動きを見ながら迅速に設定すること。
【解決手段】ユーザがリーチングする目標となる目標オブジェクトを仮想空間に出現させる制御部と、テンキーからの入力に応じて、目標オブジェクトの出現位置を設定する設定部と、を備えたことを特徴とする情報処理装置を提供することが開示されている。このような情報処理装置により、オペレータは、ユーザのリーチング目標のパラメータを、ユーザの動きを見ながら迅速に設定することができるようになる。
【選択図】 図１

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】