特許 7149658 リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-29

(45)【発行日】2022-10-07

(54)【発明の名称】リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム

(51)【国際特許分類】

   A61H 1/02 20060101AFI20220930BHJP

【ＦＩ】

A61H1/02 C

【請求項の数】 7

(21)【出願番号】P 2021172393

(22)【出願日】2021-10-21

(62)【分割の表示】P 2018193342の分割

【原出願日】2017-10-23

(65)【公開番号】P2022002798

(43)【公開日】2022-01-11

【審査請求日】2021-11-22

(73)【特許権者】

【識別番号】517147593

【氏名又は名称】株式会社ｍｅｄｉＶＲ

(74)【代理人】

【識別番号】100134430

【弁理士】

【氏名又は名称】加藤 卓士

(72)【発明者】

【氏名】原 正彦

【審査官】山田 裕介

(56)【参考文献】

【文献】特許第６２００６１５（ＪＰ，Ｂ２）

【文献】特開２０１５－２２８９５７（ＪＰ，Ａ）

【文献】特開２０１５－０５８１３５（ＪＰ，Ａ）

【文献】特開２００９－０１８１２７（ＪＰ，Ａ）

【文献】特表２００２－５１６１２１（ＪＰ，Ａ）

【文献】特開２０１１－１８２２８９（ＪＰ，Ａ）

【文献】特開２００７－０５８１７５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｈ １／０２

(57)【特許請求の範囲】

【請求項1】

ユーザの第１リハビリテーション動作を検出する動作検出手段と、
検出した前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像と、前記目標画像の視認性を向上させる視認補助画像と、を表示させる表示制御手段と、
前記アバター画像の位置と、前記目標画像が表わす目標位置とを比較して、前記ユーザのリハビリテーション能力を評価する評価手段と、
前記評価手段による評価結果に応じて、前記目標位置を更新する更新手段と、
を備えたリハビリテーション支援システムであって、
前記表示制御手段は、前記ユーザの視力および前記評価手段による前記評価結果の少なくとも一方に応じて、前記視認補助画像の大きさを変更するリハビリテーション支援システム。

【請求項2】

前記表示制御手段は、前記視認補助画像の中心近傍に前記目標画像を表示させる請求項１に記載のリハビリテーション支援システム。

【請求項3】

前記表示制御手段は、前記目標画像を前記視認補助画像の前記中心近傍以外の位置に表示させる請求項２に記載のリハビリテーション支援システム。

【請求項4】

前記表示制御手段は、前記目標画像を前記視認補助画像よりも濃く表示させる請求項１に記載のリハビリテーション支援システム。

【請求項5】

前記表示制御手段は、前記目標画像と前記視認補助画像とを異なる色で表示させる請求項１乃至４のいずれか１項に記載のリハビリテーション支援システム。

【請求項6】

リハビリテーション支援システムの動作検出部が、ユーザの第１リハビリテーション動作を検出する動作検出ステップと、
前記リハビリテーション支援システムの表示制御部が、検出した前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像と、前記目標画像の視認性を向上させる視認補助画像と、を表示させる表示制御ステップと、
前記リハビリテーション支援システムの評価部が、前記アバター画像の位置と、前記目標画像が表わす目標位置とを比較して、前記ユーザのリハビリテーション能力を評価する評価ステップと、
前記リハビリテーション支援システムの更新部が、前記評価ステップにおける評価結果に応じて、前記目標位置を更新する更新ステップと、
を含むリハビリテーション支援方法であって、
前記表示制御ステップは、前記ユーザの視力および前記評価ステップによる前記評価結果の少なくとも一方に応じて、前記視認補助画像の大きさを変更するリハビリテーション支援方法。

【請求項7】

ユーザの第１リハビリテーション動作を検出する動作検出ステップと、
検出した前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像と、前記目標画像の視認性を向上させる視認補助画像と、を表示させる表示制御ステップと、
前記アバター画像の位置と、前記目標画像が表わす目標位置とを比較して、前記ユーザのリハビリテーション能力を評価する評価ステップと、
前記評価ステップにおける評価結果に応じて、前記目標位置を更新する更新ステップと、
をコンピュータに実行させるリハビリテーション支援プログラムであって、
前記表示制御ステップは、前記ユーザの視力および前記評価ステップによる前記評価結果の少なくとも一方に応じて、前記視認補助画像の大きさを変更するリハビリテーション支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラムに関する。

【背景技術】

【0002】

上記技術分野において、特許文献１には、脳卒中等による片麻痺患者に対して行なわれるリハビリテーションを支援するシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－２２８９５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記文献に記載の技術では、視認性の観点から認知機能の低い患者に対して大きな目標を提示させた場合に運動距離と目標距離との乖離が大きくなるという問題があった。

【0005】

本発明の目的は、上述の課題を解決する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係るリハビリテーション支援システムは、
ユーザの第１リハビリテーション動作を検出する動作検出手段と、
検出した前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像と、前記目標画像の視認性を向上させる視認補助画像と、を表示させる表示制御手段と、
前記アバター画像の位置と、前記目標画像が表わす目標位置とを比較して、前記ユーザのリハビリテーション能力を評価する評価手段と、
前記評価手段による評価結果に応じて、前記目標位置を更新する更新手段と、
を備えたリハビリテーション支援システムであって、
前記表示制御手段は、前記ユーザの視力および前記評価手段による前記評価結果の少なくとも一方に応じて、前記視認補助画像の大きさを変更する。

【0007】

上記目的を達成するため、本発明に係るリハビリテーション支援方法は、
リハビリテーション支援システムの動作検出部が、ユーザの第１リハビリテーション動作を検出する動作検出ステップと、
前記リハビリテーション支援システムの表示制御部が、検出した前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像と、前記目標画像の視認性を向上させる視認補助画像と、を表示させる表示制御ステップと、
前記リハビリテーション支援システムの評価部が、前記アバター画像の位置と、前記目標画像が表わす目標位置とを比較して、前記ユーザのリハビリテーション能力を評価する評価ステップと、
前記リハビリテーション支援システムの更新部が、前記評価ステップにおける評価結果に応じて、前記目標位置を更新する更新ステップと、
を含むリハビリテーション支援方法であって、
前記表示制御ステップは、前記ユーザの視力および前記評価ステップによる前記評価結果の少なくとも一方に応じて、前記視認補助画像のきさを変更する。

【0008】

上記目的を達成するため、本発明に係るリハビリテーション支援プログラムは、
ユーザの第１リハビリテーション動作を検出する動作検出ステップと、
検出した前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像と、前記目標画像の視認性を向上させる視認補助画像と、を表示させる表示制御ステップと、
前記アバター画像の位置と、前記目標画像が表わす目標位置とを比較して、前記ユーザのリハビリテーション能力を評価する評価ステップと、
前記評価ステップにおける評価結果に応じて、前記目標位置を更新する更新ステップと、
をコンピュータに実行させるリハビリテーション支援プログラムであって、
前記表示制御ステップは、前記ユーザの視力および前記評価ステップによる前記評価結果の少なくとも一方に応じて、前記視認補助画像の大きさを変更する。

【発明の効果】

【0009】

本発明によれば、リハビリテーションとして設定した目標距離と実際にユーザが運動する運動距離との乖離を抑制することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態に係る目標物認識性向上システムの構成を示すブロック図である。

【図2】前提技術１に係る目標物認識性向上システムの構成を示すブロック図である。

【図3】前提技術１に係る目標物認識性向上システムの表示画面例を示す図である。

【図4】前提技術１に係る目標物認識性向上システムの表示画面例を示す図である。

【図5】前提技術１に係る目標物認識性向上システムの処理の流れを示すフローチャートである。

【図6】前提技術１に係る目標物認識性向上システムの表示画面例を示す図である。

【図7】前提技術１に係る目標物認識性向上システムの表示画面例を示す図である。

【図8】前提技術１に係る目標物認識性向上システムの表示画面例を示す図である。

【図9】前提技術１に係る目標物認識性向上システムの他の構成を示す図である。

【図10】前提技術１に係る目標物認識性向上システムのデータベースの構成を示す図である。

【図11】前提技術１に係る目標物認識性向上システムの表示画面例を示す図である。

【図12】前提技術１に係る目標物認識性向上システムの表示画面例を示す図である。

【図13A】前提技術２に係る目標物認識性向上システムの動作の概略を説明する図である。

【図13B】前提技術２に係る目標物認識性向上システムの動作の概略を説明する図である。

【図13C】本発明の第２実施形態に係る目標物認識性向上システムの動作の概略を説明する図である。

【図13D】本発明の第２実施形態に係る目標物認識性向上システムにおける視認補助画像の配置位置を説明する図である。

【図13E】本発明の第２実施形態に係る目標物認識性向上システムにおける視認補助画像の他の例を説明する図である。

【図13F】本発明の第２実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。

【図13G】本発明の第２実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。

【図13H】本発明の第２実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。

【図13I】本発明の第２実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。

【図13J】本発明の第２実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。

【図14】本発明の第２実施形態に係る目標物認識性向上システムの構成を説明するブロック図である。

【図15A】本発明の第２実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの有する患者テーブルの一例を説明する図である。

【図15B】本発明の第２実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの有する表示パラメータテーブルの一例を説明する図である。

【図15C】本発明の第２実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの有する画像テーブルの一例を説明する図である。

【図16】本発明の第２実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバのハードウェア構成を説明するブロック図である。

【図17A】本発明の第２実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの処理手順を説明するフローチャートである。

【図17B】本発明の第２実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの視認補助画像表示の処理手順を説明するフローチャートである。

【図18】本発明の第３実施形態に係る目標物認識性向上システムの構成を説明するブロック図である。

【図19】本発明の第３実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの有する音テーブルの一例を説明する図である。

【図20】本発明の第３実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバのハードウェア構成を説明する図である。

【図21A】本発明の第３実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの処理手順を説明するフローチャートである。

【図21B】本発明の第３実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの音出力制御の処理手順を説明するフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

【0012】

［第１実施形態］
本発明の第１実施形態としての目標物認識性向上システム１００について、図１を用いて説明する。情報処理システム１００は、ユーザ１１０に対して行われるリハビリテーションを支援するシステムである。

【0013】

図１に示すように、目標物認識性向上システム１００は、動作検出部１０１、表示制御部１０２、評価部１０３および更新部１０４を含む。

【0014】

動作検出部１０１は、ユーザ１１０の第１リハビリテーション動作を検出する。表示制御部１０２は、検出した第１リハビリテーション動作に応じて動くアバター画像と、第１リハビリテーション動作の目標を示す目標画像と、目標画像の視認性を向上させる少なくとも１つの視認補助画像と、を表示させる。評価部１０３は、第１リハビリテーション動作と、目標画像が表わす目標位置とを比較して、ユーザ１１０のリハビリテーション能力を評価する。更新部１０４は、評価手段による評価結果に応じて、目標位置を更新する。

【0015】

本実施形態によれば、リハビリテーションとして設定した目標距離と実際にユーザが運動する運動距離との乖離を抑制することができる。

【0016】

［前提技術１］
次に前提技術１に係るリハビリテーション支援システム２００について、図２を用いて説明する。図２は、本実施形態に係るリハビリテーション支援システムの構成を説明するための図である。

【0017】

図２に示すように、リハビリテーション支援システム２００は、リハビリテーション支援サーバ２１０と、２つのベースステーション２３１、２３２と、ヘッドマウントディスプレイ２３３と、２つのコントローラ２３４、２３５とを備える。なお、ヘッドマウントディスプレイ２３３としては、非透過タイプでも、ビデオシースルータイプでも、オプティカルシースルータイプでも構わない。

【0018】

また、リハビリテーション支援サーバ２１０は、動作検出部２１１と表示制御部２１２と評価部２１３と更新部２１４と音声入出力部２１５と、目標データベース２１６および背景画像＋質問／回答データベース２１７を備える。

【0019】

動作検出部２１１は、ユーザ２２０が手に持つコントローラ２３４、２３５の位置およびヘッドマウントディスプレイ２３３の位置をベースステーション２３１、２３２を介して取得し、その位置の変化によりユーザ２２０のリハビリテーション動作を検出する。

【0020】

表示制御部２１２は、検出したリハビリテーション動作に応じて動くアバター画像と、リハビリテーション動作の目標を示す目標画像と、をヘッドマウントディスプレイ２３３に表示させる。図３は、ヘッドマウントディスプレイ２３３に表示された画面３０１におけるアバター画像３１１、３１２の一例を示す図である。アバター画像３１１、３１２は、背景画像３１３に重畳表示される。この例ではアバター画像３１１、３１２は、コントローラ２３４、２３５と同じ形状をしており、コントローラ２３４、２３５の動きに合わせて画面３０１中を動く。また、ヘッドマウントディスプレイ２３３の位置や向きに応じて背景画像３１３は変化する。アバター画像３１１、３１２に表示されている通り、コントローラ２３４、２３５にはボタンが用意されており、各種設定操作など可能に構成されている。背景画像３１３として、ここでは、実際の風景を撮像して得た風景映像（例えばニューヨークの町並みを撮影した動画）を表示する。風景映像としては、リハビリ施設の周囲の道路の映像を用いても良く、異国を散歩している気分にさせたり、身近な場所を散歩している気分にさせたりすることができる。風景映像を重畳することで、患者を楽しませつつ、情報量が多い中でのトレーニングを実現することができる。

【0021】

また、表示制御部２１２は、例えば、図４に示すように、ヘッドマウントディスプレイ２３３の画面４０１～４０３において、背景画像３１３に重畳して、オブジェクト４１１を表示する。オブジェクト４１１は、ユーザ２２０の頭上方向から下方に向けて降下してきているように表示位置および大きさを徐々に変えて表示する。ユーザ２２０は、コントローラ２３４、２３５を動かして、画面中のアバター画像３１１を、オブジェクト４１１に近づける。アバター画像３１１がオブジェクト４１１にぶつかると、オブジェクト４１１は消滅する。

【0022】

評価部２１３は、動作検出部２１１が検出したリハビリテーション動作と、表示制御部２１２によって表示された目標画像が表わす目標位置とを比較して、ユーザのリハビリテーション能力を評価する。具体的には、動作検出部２１１が検出したリハビリテーション動作に対応して移動したアバター画像３１１と目標画像としてのオブジェクト４１１とが重なったか否かを、３次元仮想空間中の位置の比較により決定する。結果的に、これらが重なれば、一つのリハビリテーション動作をクリアしたものと評価し、ポイントを加算する。オブジェクト４１１の奥行き方向の位置については様々な段階（例えば３段階）のものが用意され、それぞれ、異なるポイント（遠いオブジェクトには高いポイント、近いオブジェクトには低いポイント）が設定される。

【0023】

更新部２１４は、積算されたポイントに応じて、目標課題を更新する。例えば、課題達成率（目標達成数／課題数）などを用いて目標課題を更新してもよい。

【0024】

図５は、リハビリテーション支援サーバ２１０における処理の流れを示すフローチャートである。ステップＳ５０１において、キャリブレーション処理として、リハビリテーション動作の目標をユーザに合わせて初期化する。具体的には、各患者に最初にキャリブレーションとして行動可能範囲の作業を行ってもらい、それを初期値に設定した上で目標をユーザに合わせて初期化する。

【0025】

また、目標データベース２１６を参照して、ユーザの属性情報（例えば、運動選手なのか、パーキンソン病なのかなど）に応じた目標に設定する。例えば、怪我をしたスポーツ選手の場合には、怪我が悪化しない程度の初期値を設定し、パーキンソン病に罹患したユーザの場合には、病状の進行を緩やかにする程度の運動を初期値として設定する。さらに、各患者に最初に行動可能範囲の作業を行ってもらい、それを初期値に設定した上で目標をユーザに合わせて初期化する。

【0026】

次に、ステップＳ５０３において、動作検出部２１１で検出したコントローラ２３４、２３５の位置に応じて、アバター画像３１１、３１２を表示する。さらに、ステップＳ５０５において、設定された課題に応じた位置およびスピードでオブジェクト４１１を表示する。

【0027】

ステップＳ５０７において、アバター画像３１１、３１２の動きと、オブジェクト４１１の動きを比較して、課題をクリアしたか判定する。課題がクリアされていない場合には、そのままステップＳ５０５に戻って、課題の難易度を変えることなく次のオブジェクトを表示する。

【0028】

課題がクリアされた場合にはステップＳ５０９に進み、累積ポイントや課題達成確率等を算出する。さらにステップＳ５１１に進み、累積ポイントや課題達成確率等を閾値Ｔと比較し、累積ポイントや課題達成確率等が所定の閾値Ｔを超えた場合にはステップＳ５１３に進んで課題の運動強度を更新する。累積ポイントや課題達成確率等が閾値Ｔに達しなかった場合にはステップＳ５０５に戻って、課題の難易度を変えることなく次のオブジェクトを表示する。

【0029】

例えば、近距離の達成度が８０％（または１０回等の回数でも可）を超えた場合、中距離のオブジェクトの表示頻度を高くする。中距離のオブジェクトの達成度が８０％（または１０回等の回数でも可）を超えた場合、遠距離のオブジェクトの表示頻度を高くする。

【0030】

ここでの課題の更新についても、ユーザの属性（怪我をしたスポーツ選手なのか、パーキンソン病患者なのかなど）に応じて変更する。課題の更新方法としては、背景画像を切り替えるといった方法も考えられる。

【0031】

課題を更新した後、ステップＳ５１５に進み、ユーザの疲労度を算出して、閾値Ｎと比較する。疲労度が所定の閾値を超えれば、「停止条件」として処理を終了する。例えば、（疲労度＝１－最も近位のオブジェクトの回収率）と算出できる。あるいは（疲労度＝１／目の動き）と算出してもよい。明らかに集中していない(全くオブジェクトを探していない、首を振らない等)場合には、それ以上リハビリテーションを継続しても意味がないので休憩することになる。さらには、腕を伸ばすときのスピードが落ちるのを検出（加速度）して、疲労度を算出してもよい。

【0032】

また、例えば、累積ポイントが所定の閾値を超えれば、図６の文字画像６０１に示すように、２つのコントローラ２３４、２３５のうち、左右いずれのコントローラでオブジェクト４１１にタッチすべきか（ここでは右）を指示する。これにより、文字を認識する認知機能が必要になる上に、動作の難易度も上がり、より高い運動機能が必要になる。つまり、認知機能と運動機能のデュアルタスク（Dual Task：二重課題）が要求される。

【0033】

なお、図６では、文字で指示を行なっているが、本発明はこれに限定されるものではなく、矢印や色、あるいは声で指示を行なってもよい。このように、本実施形態では、リハビリテーション動作の評価に応じて、その負荷を更新する。

【0034】

（デュアルタスクについて）
健常者は、普段の日常で「話をしながら歩く」など２つ以上のことを同時に行っている。この様な「２つのことを同時に行う能力」は加齢とともに衰えてくる。例えば「歩行中に話しかけられると、足を止めてしまう」などといったことが起こる。高齢者が転倒する原因は、「運動機能が低下していること」だけではなく、この様な「２つのことを同時に行う能力の低下」が関与していると考えられる。実際に、リハビリテーションにより十分に運動機能が回復したと判断されても、帰宅後に転倒してしまう高齢者は大勢いる。これは、リハビリテーション動作に集中できる環境・条件を整えた状態でリハビリテーションを行なっていることが一つの要因である。つまり、生活環境では、そのように動作に集中できない要因、例えば見晴らしが悪い、障害物が存在する、会話に意識が向いている、といった条件下での動作であることが多いからである。

【0035】

そこで、注意を分散させるようなリハビリテーションを行なうことが重要と考えられ、具体的にデュアルタスクを与えてトレーニングすることが望ましい。このようなデュアルタスクトレーニングは、高齢者の転倒のみならず、認知症の予防にも有効なプログラムである。

【0036】

デュアルタスクトレーニングには、認知課題と運動課題を組み合わせたトレーニングの他、２種類の運動課題を組み合わせたトレーニングも含まれる。

【0037】

認知課題＋運動課題としては、１００から１ずつ引き算をしながら歩くなどのトレーニングが、運動課題＋運動課題としては、コップに入った水を溢さないように歩くなどのトレーニングが挙げられる。

【0038】

評価部２１３は、単純な歩行に比べてデュアルタスク歩行検査で歩行速度が２０％程度遅延するような場合は、転倒リスクが高いと評価し、デュアルタスクを繰り返すように表示制御部２１２に通知する。

【0039】

なお、「比較的移動能力が高い人」の方がよりデュアルタスクが有効となりやすい。例えば、屋内移動でも杖が手放せない高齢者となると、デュアルタスク能力よりもバランス能力（筋力・平衡感覚など）の強化のほうが、優先順位が高くなる。大まかな判断としては、要支援者はデュアルタスク能力が重要、要介護者はデュアルタスク能力以外のバランス能力が重要と表現できる。キャリブレーションの時系列変化を表示し、自分の運動範囲の改善を視覚的に表示する。

【0040】

（ユーザ属性による設定変更）
通常の改善が見込める患者（骨折等の整形外科的疾患が対象で完全な改善が前提）に対しては、最もハードなリハビリテーション動作を設定し、改善を早める。

【0041】

個々に応じて改善の程度が異なる患者（脳梗塞等では病変部位によって異なる形の麻痺が生じている患者）に対しては、ある程度まで課題の負荷を向上させるがあるレベルでその負荷の向上をストップする。

【0042】

パーキンソン病等、原則的に機能が低下していく患者の場合は、常に現在の運動可能な状態の評価を定期的に評価することが有用である。

【0043】

（他のデュアルタスクトレーニング例）
図７は、他のデュアルタスクトレーニング用の画像例を示す図である。オブジェクトにハズレ（爆弾）を仕込むことにより、認知機能を要求する。または、図８に示すように、背景画面に質問画像（ここでは例としてかけ算）を重畳表示し、答えが表示されたオブジェクトの取得のみを評価してもよい。背景画面にグー・チョキ・パーのいずれかを表示し、それに勝つマークが表示されたオブジェクトの回収を要求してもよい。

【0044】

さらには、単にオブジェクトに数字を表示させ、数字の大きいオブジェクトの取得のみを評価してもよい。その他、背景画像３１３内に信号を表示させ、赤信号の時にオブジェクトを取ると評価部２１３は、ポイントをマイナスにしてもよい。

【0045】

本実施形態によれば、リハビリテーション動作の達成度（達成確率など）に応じて課題を更新するので、リハビリテーションの進み具合に応じた負荷をユーザに与えることができる。また、背景画像３１３を表示することにより、患者が楽しめるだけではなく、周囲に意識を向ける状況の中でリハビリテーションを行なわせることができ、現実世界に戻った際により安全な生活を実現できる。

【0046】

図９は、他のデュアルタスクトレーニング例を示す図である。音声入出力部２１５は、図９のように、背景画像に関する質問音声をヘッドホン９０１に対して出力し、ヘッドマウントディスプレイ２３３に設けられたマイク９０２を介して、質問に対する回答を取得する。評価部２１３は、音声情報として取得した回答に対して、音声認識処理を施して、あらかじめ用意された回答と比較し、その比較結果に応じて、ユーザのリハビリテーション能力を評価する。

【0047】

図１０は、背景画像・質問／回答データベース２１７の内容の一例を示す図である。背景動画に対して、質問音声と解答とポイントとが、対応付けられて記憶されている。

【0048】

ユーザの反応として、デュアルタスクではオブジェクトの回収率が下がるという結果が予想される。デュアルタスクを表示してもオブジェクトの回収達成率が異ならない、という結果をゴールとして期待する。シングルタスク（single task）時とデュアルタスク時とで、オブジェクトの回収率、またはオブジェクトへのリーチ率を比較し、一定の範囲に入るまで繰り返しトレーニングを行なう。

【0049】

以上は運動機能と認知機能を同時に要求するデュアルタスクトレーニングだが、本発明はこれに限定されるものではなく、２つの運動機能を同時に要求するデュアルタスクトレーニングでもよい。

【0050】

例えば、図１１に示すように、飛んでくる物体１１１１をよけながらオブジェクト４１１を拾うことを要求してもよい。ヘッドマウントディスプレイ２３３に設けられたセンサの位置を検出することにより、物体１１１１をうまくよけたか否かを判定できる。２つのリハビリテーション動作の両方の達成ポイント（例えば達成率など）に基づいて、評価および課題の更新を行なえばよい。

【0051】

また、例えば、図１２の画像１２０１に示すように、コントローラ２３４、２３５の動作に応じて動くアバター画像として、水の入ったコップ画像１２１１、１２１２を表示し、これらのコップ画像１２１１、１２１２を移動させて、オブジェクト４１１を回収してもよい。ただし、画像１２０２に示すようにコップ画像１２２１を傾けて水がこぼれた場合には、コップ画像１２２２でオブジェクト４１１を回収してもポイントを得ることはできない。画像１２０３のように、コップ画像１２３１、１２３２内の水をこぼすことなくオブジェクト４１１を回収したときのみ、ポイントを加算する。

【0052】

他にも、オブジェクトを回収する側のアバター画像とは逆側のアバター画像を常に指定された場所に触れさせることを要求するといったことが考えられる。コントローラ２３４、２３５にもうけられたボタンのうち、指定されたボタンを所定回数押しながらオブジェクトを回収することを要求してもよい。また、ユーザの足の動きを取得するセンサを設けた場合には、指定した足の動きを要求してもよい。

【0053】

［第２実施形態］
次に本発明の第２実施形態に係る目標物認識性向上システムについて、図１３Ａ乃至図１７Ｂを用いて説明する。図１３Ａは、本実施形態に係る目標物認識性向上システムの前提技術２の動作の概略を説明する図である。図１３Ｂは、本実施形態に係る目標物認識性向上システムの前提技術２の動作の概略を説明する図である。本実施形態に係る目標物認識性向上システムは、上記前提技術１と比べると、目標画像の認識性（例えば、視認性）を向上させる視認補助画像を表示する点で異なる。その他の構成および動作は、前提技術１と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0054】

前提技術２においては、アバター画像１３２０の移動距離、すなわち、ユーザ２２０の運動距離１３１２は、基準１３１０とアバター画像１３２０のセンサ（アバター画像１３２０のヘッド部分）との間の距離により計測する。そして、ユーザ２２０が腕などを動かさなければならない距離である目標距離１３１１は、基準１３１０と目標画像としてのオブジェクト１３３０の基準線１３３１との間の距離に基づいて決定される。そして、ユーザ２２０は、リハビリテーション運動として、アバター画像１３２０を移動させてオブジェクト１３３０に近づける。

【0055】

しかしながら、図１３Ｂに示したように、アバター画像１３２０が、オブジェクト１３３０の頂点１３３２に触れると、システムは、ユーザ２２０のリハビリテーション動作の一つが終了したと判断し、次の目標として新たなオブジェクト１３３０を表示する。

【0056】

システムの提供者側としては、リハビリテーション運動として、ユーザ２２０が腕を伸ばしきった時にオブジェクト１３３０にアバター画像１３２０が接触するようにしたい。しかしながら、オブジェクト１３３０の大きさが大きい（頂点と基準線１３３１との距離が大きい）と、オブジェクト１３３０の端にアバター画像１３２０が触れただけで、オブジェクト１３３０に接触したと判定される。そのため、ユーザ２２０は、当初想定していた距離だけ腕を動かすことができないため、期待されるリハビリテーションの効果を得ることが困難となる。

【0057】

また、ユーザ２２０としても、腕を伸ばし切らないうちにオブジェクト１３３０にタッチすることができるので、リハビリテーション運動による達成感や満足感を十分に得ることができず、リハビリテーションに対する意欲が低下することもある。

【0058】

この場合、実際にアバター画像１３２０が動いた距離である運動距離１３１２は、ユーザ２２０が本来動かさなければならない距離である目標距離１３１１に対して、乖離している。そのため、ユーザ２２０は、リハビリテーション開始前に設定した運動距離１３１２の運動をしていないこととなり、リハビリテーションにより得られる効果も期待した効果よりも減少してしまう。

【0059】

例えば、オブジェクト１３３０の一辺の長さを２０．０ｃｍ、アバター画像１３２０のセンサ部（アバター画像１３２０のヘッド部分）の直径１３２１を５．０ｃｍとする。この場合、ユーザ２２０が、オブジェクト１３３０の基準線１３３１ではなく頂点１３３２にアバター画像１３２０を接触させると、目標距離１３１１と運動距離１３１２との間に１０．０ｃｍ程度の誤差が生じる。

【0060】

そのため、ユーザ２２０は、リハビリテーション開始前に想定していた運動距離１３１２の分だけアバター画像１３２０を動かしていないので、ユーザ２２０が本来享受できたはずであるリハビリテーションの効果が減少してしまう。

【0061】

ユーザ２２０が腕を伸ばし切った時にオブジェクト１３３０に触れられるように、オブジェクト１３３０を小さくすると、ユーザ２２０は、画面内でオブジェクト１３３０の位置を視認し難くなる。オブジェクト１３３０を視認することができなければ、リハビリテーションが成立しない。

【0062】

したがって、アバター画像１３２０のセンサ部（反応部分）をアバター画像１３２０のヘッド部分よりも小さな領域とする。これにより、目標距離１３１１と運動距離との間の乖離（誤差）をより小さくすることができる。

【0063】

図１３Ｃは、本実施形態に係る目標物認識性向上システムの動作の概略を説明する図である。そこで、本実施形態においては、想定した目標距離１３１１とアバター画像１３２０による運動距離１３１２との間に乖離が生じないように、オブジェクト１３３０の中心部のグラデーションを濃くして反応部分とする。そして、オブジェクト１３３０の反応部分の周囲の部分のグラデーションを薄くする。つまり、図１３Ａおよび図１３Ｂに示したオブジェクト１３３０の大きさを小さくし、その周りをオブジェクト１３３０よりも大きい視認補助画像１３３３で囲むようにする。すなわち、オブジェクト１３３０と視認補助画像１３３３とが重畳して表示されるようにしている。

【0064】

ユーザ２２０から見れば、オブジェクト１３３０の大きさを小さくすると、オブジェクト１３３０が見難くなる（視認性が低下する）が、視認性の低下を補うために、小さくなったオブジェクト１３３０の周囲に視認補助画像１３３３を配置する。

【0065】

例えば、オブジェクト１３３０の一辺の長さを５．０ｃｍ、視認補助画像１３３３の一辺の長さを２０．０ｃｍ、アバター画像１３２０のセンサ部１３２２の直径を２．０ｃｍとする。そうすると、目標距離１３１１と運動距離１３１２との誤差（乖離）は、２．０ｃｍ前後まで低下する。

【0066】

これにより、オブジェクト１３３０および視認補助画像１３３３のグラデーションの違いと大きさの違いとによるオブジェクト１３３０の視認性の低下を防止しつつ、目標距離１３１１と運動距離１３１２との乖離（誤差）を小さくすることができる。また、副次的な効果として、オブジェクト１３３０にアバター画像１３２０を接触させた時の体験度が上昇する。すなわち、ユーザ２２０にとって、オブジェクト１３３０に接触した時の感覚が鮮明になり、リハビリテーションの目標を達成できたことの喜びも上昇する。

【0067】

図１３Ｄは、本実施形態に係る目標物認識性向上システムにおける視認補助画像の配置位置を説明する図である。図１３Ｃにおいては、目標画像としてのオブジェクト１３３０は、視認補助画像１３３３に包含されるように表示され、さらに、視認補助画像１３３３の中心近傍に配置されていた。

【0068】

しかしながら、図１３Ｄに示したように、オブジェクト１３３０は、視認補助画像１３３３の手前の下辺付近に配置してもよい。つまり、ユーザ２２０から見て手前側にオブジェクト１３３０を配置してもよい。このように、オブジェクト１３３０は、視認補助画像１３３３の中に入っているように表示されていれば、視認補助画像１３３３のどの位置に配置されてもよい。このように、オブジェクト１３３０の大きさを小さくして、目標距離１３１１と運動距離１３１２との乖離を小さくすると、オブジェクト１３３０の視認性が低下する。そのため、オブジェクト１３３０の視認性を向上させるために、オブジェクト１３３０の周囲にオブジェクト１３３０よりも大きな視認補助画像１３３３を表示させることにより、オブジェクト１３３０の視認性の低下を補う。なお、オブジェクト１３３０の視認性を向上させるための視認補助画像１３３３は、ここに示したような、立方体のオブジェクト１３３０の倍率を拡大した立方体には限定されない。

【0069】

次に、図１３Ｅ乃至図１３Ｉを用いて視認補助画像１３３３の他の形状について説明する。図１３Ｅは、本実施形態に係る目標物認識性向上システムにおける視認補助画像の他の例を説明する図である。図１３Ｆは、本実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。図１３Ｇは、本実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。図１３Ｈは、本実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。図１３Ｉは、本実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。

【0070】

図１３Ｅに示したように、視認補助画像１３４０は、例えば、オブジェクト１３３０の存在位置を示す矢印形状であってもよい。そして、オブジェクト１３３０は、矢印形状の視認補助画像１３４０の中に内包されていない。つまり、目標画像としてのオブジェクト１３３０と視認補助画像１３４０とが重畳して表示されているのではなく、視認補助画像１３４０は、オブジェクト１３３０の外側に配置される。このように、矢印形状の視認補助画像１３４０とすれば、ユーザ２２０は、矢印の先端部分の先に、オブジェクト１３３０が存在することを容易に認識することができる。

【0071】

図１３Ｆに示したように、視認補助画像１３５０は、ユーザ２２０の注意を引くような形状であってもよい。なお、ユーザ２２０の注意を引くような形状は、図１３Ｆに示した形状には限定されず、例えば、星形形状や十字形形状、多角形形状などであってもよい。また、縦線１３５１と横線１３５２とを合わせて表示し、縦線１３５１および横線１３５２の中心にオブジェクト１３３０が配置されていることを示してもよい。

【0072】

図１３Ｇに示したように、視認補助画像１３６０は、アバター画像１３２０のセンサ部１３２２からオブジェクト１３３０に向かって伸びる一点鎖線であってもよい。なお、視認補助画像１３６０は、一点鎖線には限定されず、例えば、直線や二点鎖線、点線などであってもよい。

【0073】

そして、ユーザ２２０は、視認補助画像１３６０の一点鎖線をガイドラインとして、この一点鎖線に沿って視線を動かせばオブジェクト１３３０を視認して、オブジェクト１３３０の存在位置を認識することができる。さらに、この一点鎖線に沿ってアバター画像１３２０を動かせば、オブジェクト１３３０にアバター画像１３２０をタッチさせることができる。なお、視認補助画像１３７０と合わせて視認補助画像１３３３を表示すれば、オブジェクト１３３０の視認性がさらに向上する。

【0074】

図１３Ｈに示したように、視認補助画像１３７０は、複数の矢印がセンサ部１３２２からオブジェクト１３３０に向かって一直線上に配置されたものであってもよい。そして、ユーザ２２０は、この複数の矢印をガイドラインとして、この複数の矢印に沿って視線を動かせばオブジェクト１３３０を視認して、オブジェクト１３３０の存在位置を認識することができる。さらに、この複数の矢印に沿ってアバター画像１３２０を動かせば、オブジェクト１３３０にアバター画像１３２０をタッチさせることができる。なお、視認補助画像１３７０と合わせて立方体の視認補助画像１３３３を表示すれば、オブジェクト１３３０の視認性がさらに向上する。

【0075】

図１３Ｉに示したように、複数の球形の視認補助画像１３８０が、オブジェクト１３３０の上下左右の位置に配置されている。すなわち、図１３Ｉにおいては、４個の視認補助画像１３８０の中心にオブジェクト１３３０が配置されるように、複数の球形の視認補助画像１３８０がオブジェクト１３３０の周囲に配置されている。なお、視認補助画像１３８０の形状は、球形には限定されず、例えば、三角形形状や矩形形状、多角形形状、星形形状などであってもよい。

【0076】

図１３Ｊは、本実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。目標物認識性向上サーバは、例えば、ユーザ２２０のリハビリテーションの進み具合に合わせて、表示部１４０２に表示する視認補助画像１３３３の大きさを変更してもよい。例えば、目標物認識性向上サーバは、リハビリテーションの初期には、大きめの視認補助画像１３３３を表示させる。そして、ユーザ２２０のリハビリテーションが進んだ状態では、リハビリテーションの進行具合に合わせて視認補助画像１３３３の大きさを小さくしてもよい。

【0077】

また、目標物認識性向上サーバは、ユーザ２２０のリハビリテーションの進行具合に合わせるのではなく、例えば、ユーザ２２０の視力に合わせて視認補助画像１３３３の大きさを変更してもよい。つまり、目標物認識性向上サーバは、視力の悪いユーザ２２０であれば、大きめの視認補助画像１３３３を表示させ、比較的視力のよいユーザ２２０であれば、小さめの視認補助画像１３３３を表示させてもよい。このように、目標物認識性向上サーバは、ユーザ２２０の視力に応じた大きさの視認補助画像を表示させてもよい。

【0078】

また、例えば、目標物認識性向上サーバは、ユーザ２２０が認知症であった場合、認知症の進行具合や認知機能に合わせた大きさの視認補助画像１３３３を表示させてもよい。なお、視認補助画像１３３３の大きさは、目標物認識性向上サーバが自動的に変更しても、目標物認識性向上システムを操作する医師などのオペレータが手動で変更して、ユーザ２２０が変更してもよい。

【0079】

図１４は、本実施形態に係る目標物認識性向上システムの構成を説明するブロック図である。目標物認識性向上システム１４００は、目標物認識性向上サーバ１４０１と表示部１４０２とを有する。なお、目標物認識性向上システム１４００に含まれる要素はこれらには限定されない。目標物認識性向上サーバ１４０１は、動作検出部１４１１、表示制御部１４１２、評価部１４１３および更新部１４１４を有する。

【0080】

動作検出部１４１１は、ユーザ２２０が手に持っているコントローラの位置や、ユーザ２２０が装着しているヘッドマウントディスプレイなどの位置を取得し、取得した位置の変化に基づいて、ユーザ２２０の動き（リハビリテーション動作）を検出する。

【0081】

表示制御部１４１２は、検出したリハビリテーション動作に応じて動くアバター画像１３２０と、リハビリテーション動作の目標を示す目標画像と、目標画像の視認性を向上させる少なくとも１つの視認補助画像１３３３と、を表示部１４０２などに表示させる。

【0082】

表示制御部１４１２は、目標画像と視認補助画像１３３３とを重畳して表示させる。例えば、目標画像の大きさを視認補助画像１３３３の大きさよりも小さくし、目標画像が視認補助画像１３３３の中に包含されているように表示させる。

【0083】

表示制御部１４１２は、目標画像を、例えば、視認補助画像１３３３の中心近傍に表示させてもよい。また、表示制御部１４１２は、目標画像を視認補助画像１３３３の中心近傍ではなく、視認補助画像１３３３の中に包含され、さらにアバター画像１３２０に近い側、つまり、ユーザ２２０から見て手前側に表示させてもよい。

【0084】

表示制御部１４１２は、オブジェクト１３３０と視認補助画像１３３３とを識別可能に表示させてもよい。具体的には、例えば、オブジェクト１３３０のグラデーションを視認補助画像１３３３のグラデーションよりも濃く表示させる。これにより、ユーザ２２０は、オブジェクト１３３０が濃く表示されているので、薄く表示されている視認補助画像１３３３とのコントラストに差が生じ、オブジェクト１３３０を確実に認識することができる。なお、オブジェクト１３３０および視認補助画像１３３３へのグラデーションの付け方は、ここに示した方法には限定されない。例えば、視力の弱いユーザ２２０であっても、オブジェクト１３３０と視認補助画像１３３３とを確実に識別できるグラデーションの付け方であってもよい。

【0085】

また、表示制御部１４１２は、オブジェクト１３３０と視認補助画像１３３３とを識別可能に表示させるために、オブジェクト１３３０と視認補助画像１３３３とを異なる色で表示する。表示制御部１４１２は、例えば、オブジェクト１３３０を濃色系の色で着色し、視認補助画像１３３３を淡色系の色で着色するが、着色する色の組み合わせ（パターン）はこれには限定されない。例えば、色覚異常（色盲）のユーザ２２０であっても、オブジェクト１３３０と視認補助画像１３３３とを確実に識別できる色の組み合わせで着色してもよい。また、表示制御部１４１２は、弱視や視野狭窄、色覚異常など様々なタイプのユーザ２２０に対応可能な着色をしてもよい。なお、オブジェクト１３３０と視認補助画像１３３３とに着色する色は、ユーザ２２０が選択してもよいし、医師などのオペレータが選択してもよい。

【0086】

なお、ここでは、オブジェクト１３３０および視認補助画像１３３３のグラデーションや色などについて説明をしたが、他の視認補助画像１３４０，１３５０，１３６０，１３７０，１３８０についても同様にグラデーションや色を変化させてもよい。

【0087】

さらに、表示制御部１４１２は、ユーザ２２０の視力および評価部１４１３による評価結果の少なくとも一方に応じて、視認補助画像１３３３の表示の変更を制御する。例えば、表示制御部１４１２は、ユーザ２２０の視力やユーザ２２０のリハビリテーションの進行具合、ユーザ２２０の認知症の進行具合などに応じて、視認補助画像１３３３の大きさを変更する。

【0088】

評価部１４１３は、動作検出部１４１１が検出したリハビリテーション動作と、表示制御部１４１２によって表示された目標画像としてのオブジェクト１３３０が表す目標位置と、と比較して、ユーザ２２０のリハビリテーション能力を評価する。

【0089】

更新部１４１４は、評価部１４１３による評価結果に応じて、オブジェクト１３３０により表される目標位置を更新する。

【0090】

表示部１４０２は、表示制御部１４１２の制御に従い、目標画像や視認性補助画像などを表示する。表示部１４０２は、ヘッドマウントディスプレイやディプレイ、スクリーンなどであるが、これらには限定されない。

【0091】

図１５Ａは、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの有する患者テーブルの一例を説明する図である。患者テーブル１５０１は、患者ＩＤ（Identifier）１５１１に関連付けて、属性情報１５１２、リハビリ対象１５１３、現在のレベル１５１４およびリハビリメニュー１５１１５を記憶する。患者ＩＤ１５１１は、患者を識別するための識別子である。属性情報１５１２は、年齢や性別などの患者の属性を示す情報である。リハビリ対象１５１３は、その患者が身体のどの部位がリハビリテーションを受ける対象となっているかを示すデータであり、例えば、腕や脚などの身体の部位を表すデータである。

【0092】

現在のレベル１５１４は、患者の現在のリハビリテーションのレベルを示すデータである。すなわち、患者のリハビリテーションの進行具合などを示すデータである。リハビリテーションの初期段階から最終段階までを複数のランク、例えば、Ａランク、Ｂランクなどに分けたデータである。なお、リハビリテーションのレベルの分け方は、これには限定されない。リハビリメニュー１５１５は、患者が受けるべきリハビリテーションのメニューに関する情報である。

【0093】

次に、図１５Ｂは、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの有する表示パラメータテーブルの一例を説明する図である。表示パラメータテーブル１５０２は、リハビリメニュー１５１５に関連付けて、目標画像ＩＤ１５２１、視認補助画像ＩＤ１５２２および表示パラメータ１５２３を記憶する。

【0094】

目標画像ＩＤ１５２１は、表示部１４０２に表示させるオブジェクト１３３０を識別する識別子である。視認補助画像ＩＤは、表示部１４０２に表示させる視認補助画像１３３３，１３４０，１３５０，１３６０，１３７０，１３８０を識別する識別子である。表示パラメータ１５２３は、オブジェクト１３３０や視認補助画像１３３３，１３４０，１３５０，１３６０，１３７０，１３８０を表示部１４０２に表示させるために必要なパラメータである。表示パラメータ１５２３には、例えば、位置や倍率などの情報が含まれるが、表示パラメータ１５２３に含まれる情報はこれらには限定されない。

【0095】

そして、図１５Ｃは、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの有する画像テーブルの一例を説明する図である。画像テーブル１５０３は、画像種別１５３１に関連付けて画像データ１５３２、表示位置１５３３および倍率１５３４を記憶する。なお、画像テーブル１５０３に記憶される項目は、これらには限定されない。

【0096】

画像種別１５３１は、表示すべき画像が、目標画像なのか視認補助画像なのかなどを区別する情報である。画像データ１５３２は、表示部１４０２に表示されるオブジェクト１３３０や視認補助画像１３３３などの画像データであり、様々な画像ファイルフォーマットの画像データが含まれる。表示位置１５３３は、表示部１４０２内のどの位置に表示すべきかを表すデータであり、例えば、（Ｘ座標位置，Ｙ座標位置，Ｚ座標位置）の組のデータなどである。倍率１５３４は、オブジェクト１３３０や視認補助画像１３３３などを表示部１４０２において、どのような大きさで表示するかを決定するためのデータである。

【0097】

そして、目標物認識性向上サーバ１４０１は、これらのテーブル１５０１，１５０２，１５０３を参照して視認補助画像１３３３，１３４０，１３５０，１３６０，１３７０，１３８０を表示部１４０２に表示させる。

【0098】

図１６は、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバのハードウェア構成を説明するブロック図である。ＣＰＵ(Central Processing Unit)１６１０は演算制御用のプロセッサであり、プログラムを実行することで図１４の目標物認識性向上サーバ１４０１の機能構成部を実現する。ＲＯＭ(Read Only Memory)１６２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース１６３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ１６１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース１６３０は、ＣＰＵ１６１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)１６４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ１６４０とストレージ１６５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、入出力インタフェース１６６０は、ＣＰＵ１６１０とは独立したＣＰＵを有して、ＲＡＭ１６４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ１６１０は、ＲＡＭ１６４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ１６１０は、処理結果をＲＡＭ６４０に準備し、後の送信あるいは転送はネットワークインタフェース１６３０やＤＭＡＣ、あるいは入出力インタフェース１６６０に任せる。

【0099】

ＲＡＭ１６４０は、ＣＰＵ１６１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１６４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。患者データ１６４１は、目標物認識性向上システムを利用してリハビリテーションを受ける患者に関するデータである。画像データ１６４２は、表示部１４０２に表示される目標画像としてのオブジェクト１３３０や視認補助画像１３３３などのデータである。表示位置１６４３は、オブジェクト１３３０や視認補助画像１３３３を表示部１４０２のどの位置に表示するかを示すデータである。倍率１６４４は、オブジェクト１３３０や視認補助画像１３３３などの画像を表示部１４０２において、どの程度の大きさで表示するかを示すデータである。そして、これらのデータは、例えば、患者テーブル１５０１、表示パラメータテーブル１５０２および画像テーブル１５０３から読み出される。

【0100】

入出力データ１６４５は、入出力インタフェース１６６０を介して入出力されるデータである。送受信データ１６４６は、ネットワークインタフェース１６３０を介して送受信されるデータである。また、ＲＡＭ１６４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域１６４７を有する。

【0101】

ストレージ１６５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ１６５０は、患者テーブル１５０１、表示パラメータテーブル１５０２および画像テーブル１５０３を格納する。患者テーブル１５０１は、図１５Ａに示した、患者ＩＤ１５１１と属性情報１５１２などとの関係を管理するテーブルである。表示パラメータテーブル１５０２は、図１５Ｂに示した、リハビリメニュー１５１５と表示パラメータ１５２３などとの関係を管理するテーブルである。画像テーブル１５０３は、図１５Ｃに示した、画像種別１５３１と画像データ１５３２などとの関係を管理するテーブルである。

【0102】

ストレージ１６５０は、さらに、動作検出モジュール１６５１、表示制御モジュール１６５２、評価モジュール１６５３および更新モジュール１６５４を格納する。

【0103】

動作検出モジュール１６５１は、ユーザ２２０のリハビリテーション動作を検出するモジュールである。表示制御モジュール１６５２は、アバター画像１３２０と、目標画像としてのオブジェクト１３３０と、オブジェクト１３３０の視認性を向上させる視認補助画像１３３３などを表示部１４０２に表示させるモジュールである。評価モジュール１６５３は、ユーザ２２０のリハビリテーション能力を評価するモジュールである。更新モジュール１６５４は、評価結果に応じて、目標画像が表す目標位置を更新するモジュールである。これらのモジュール１６５１～１６５４は、ＣＰＵ１６１０によりＲＡＭ１６４０のアプリケーション実行領域１６４７に読み出され、実行される。制御プログラム１６５５は、目標物認識性向上サーバ１４０１の全体を制御するためのプログラムである。

【0104】

入出力インタフェース１６６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース１６６０には、表示部１６６１、操作部１６６２、が接続される。また、入出力インタフェース１６６０には、さらに、記憶媒体１６６４が接続されてもよい。さらに、音声出力部であるスピーカ１６６３や、音声入力部であるマイク、あるいは、ＧＰＳ（Global Positioning System）位置判定部が接続されてもよい。なお、図１６に示したＲＡＭ１６４０やストレージ１６５０には、目標物認識性向上サーバ１４０１が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

【0105】

図１７Ａは、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの処理手順を説明するフローチャートである。図１７Ｂは、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの視認補助画像表示の処理手順を説明するフローチャートである。これらのフローチャートは、ＣＰＵ１６１０がＲＡＭ１６４０を使用して実行し、図１４の目標物認識性向上サーバ１４０１の機能構成部を実現する。

【0106】

ステップＳ１７０１において、目標物認識性向上サーバ１４０１は、視認補助画像を表示部１４０２などに表示させる。

【0107】

ステップＳ１７２１において、目標物認識性向上サーバ１４０１は、目標物認識性向上システム１４００を利用してリハビリテーションを受ける患者の属性やどのようなリハビリテーションメニューを受けるかなどの、患者情報を取得する。

【0108】

ステップＳ１７２３において、目標物認識性向上サーバ１４０１は、表示部１４０２に表示すべき視認補助画像１３３３などを表示部１４０２に表示するために必要な表示パラメータを取得する。取得する表示パラメータは、例えば、視認補助画像１３３３などの位置や倍率などの関するパラメータである。

【0109】

ステップＳ１７２５において、目標物認識性向上サーバ１４０１は、視認補助画像１３３３の画像データを取得する。ステップＳ１７２７において、目標物認識性向上サーバ１４０１は、表示部１４０２に視認補助画像１３３３などを表示する。

【0110】

ステップＳ１７２９において、目標物認識性向上サーバ１４０１は、視認補助画像１３３３などの表示の変更が必要か否かを判断する。表示変更が必要でない場合（ステップＳ１７２９のＮＯ）、目標物認識性向上サーバ１４０１は、処理を終了する。表示変更が必要な場合（ステップＳ１７２９のＹＥＳ）、目標物認識性向上サーバ１４０１は、次のステップへと進む。

【0111】

ステップＳ１７３１において、目標物認識性向上サーバ１４０１は、ユーザ２２０の視力やユーザ２２０のリハビリテーション能力の評価結果に応じて、視認補助画像１３３３の大きさを変更する。

【0112】

本実施形態によれば、目標距離と運動距離との乖離を小さくするために、目標画像の大きさを小さくしても、目標画像の視認性を維持しつつ、目標距離と運動距離とを近づけて、リハビリテーションの効果を増大させることができる。また、ユーザは、目標画像にタッチした時の感覚が鮮明となるので、ユーザは目標達成の満足感を経験することができる。

【0113】

［第３実施形態］
次に本発明の第３実施形態に係る目標物認識性向上システムについて、図１８乃至図２１を用いて説明する。図１８は、本実施形態に係る目標物認識性向上システムの構成を説明するブロック図である。本実施形態に係る目標物認識性向上システムは、上記前提技術１および第２実施形態と比べると、音出力部を有する点で異なる。その他の構成および動作は、前提技術１および第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0114】

目標物認識性向上システム１８００は、目標物認識性向上サーバ１８０１および音出力部１８０２を備える。目標物認識性向上サーバ１８０１は、音出力制御部１８１１を有する。音出力制御部１８１１は、目標画像としてのオブジェクト１３３０とアバター画像１３２０との位置関係に応じて、音の出力を制御する。音出力制御部１８１１が出力を制御した音は、音出力部１８０２から出力される。

【0115】

音出力制御部１８１１は、例えば、オブジェクト１３３０が、上方から下方へ向かって降下している場合、オブジェクト１３３０とアバター画像１３２０との間の距離、つまり、位置関係に基づいて、音を出力する。

【0116】

オブジェクト１３３０とアバター画像１３２０との間の距離が縮まるにつれて、つまり、オブジェクト１３３０がアバター画像１３２０に近づくにつれて、出力される音を高い周波数の音としてもよい。また、同様に、オブジェクト１３３０とアバター画像１３２０との間の距離が離れるにつれて、つまり、オブジェクト１３３０がアバター画像１３２０から遠ざかるにつれて、出力される音を低い周波数の音としてもよい。すなわち、ドップラー効果のように、オブジェクト１３３０（音源）とアバター画像１３２０（ユーザ２２０（観測者））との距離に応じて、音（波）の周波数が異なって観測されるような音響効果を表現してもよい。なお、出力される音の周波数を変更する代わりに、オブジェクト１３３０とアバター画像１３２０との間の距離に応じて、出力される音の音量を大小してもよい。

【0117】

また、音出力制御部１８１１から音を出力することにより、ユーザ２２０に対して、オブジェクト１３３０の位置を教示してもよい。つまり、ユーザ２２０の聴覚を利用して、オブジェクト１３３０の位置を教示する。

【0118】

例えば、ユーザ２２０が、目標物認識性向上システム１８００を利用する際に、ヘッドフォンを装着している場合を考える。目標画像としてのオブジェクト１３３０が、アバター画像１３２０（ユーザ２２０）の右側にある場合には、目標物認識性向上サーバ１８０１は、右耳側のヘッドフォンから音を出す。同様に、オブジェクト１３３０がアバター画像１３２０（ユーザ２２０）の左側にある場合には、左耳側のヘッドフォンから音を出す。これにより、ユーザ２２０は、音の方向からオブジェクト１３３０がユーザ２２０の右側にあるのか、左側にあるのかを判断することができる。さらに、オブジェクト１３３０がアバター画像１３２０（ユーザ２２０）の正面にある場合には、両方のヘッドフォンから音を出す。

【0119】

また、以上の説明では、ユーザ２２０の視覚や聴覚などを利用してオブジェクト１３３０の位置を教示したが、視覚や聴覚以外の他の五感、味覚、触覚、嗅覚などを利用してユーザ２２０にオブジェクト１３３０の位置を教示してもよい。

【0120】

例えば、ユーザ２２０の舌にセンサを置き、オブジェクト１３３０の位置に応じた味覚をユーザ２２０が感じるようにしてもよい。または、ユーザ２２０が手に持っているコントローラや、ユーザ２２０が装着しているヘッドフォン、ヘッドマウントディスプレイなどを振動させてもよい。つまり、ユーザ２２０の触覚を利用してオブジェクト１３３０の位置を教示してもよい。

【0121】

図１９は、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの有する音テーブルの一例を説明する図である。音テーブル１９０１は、画像種別１５３１に関連付けて音データ１９１１を記憶する。そして、目標物認識性向上サーバ１８０１は、音テーブル１９０１を参照して、出力する音を制御する。

【0122】

図２０は、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバのハードウェア構成を説明する図である。ＲＡＭ２０４０は、ＣＰＵ１６１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。音データ２０４１は、出力される音に関するデータである。そして、このデータは、例えば、音テーブル１９０１から読み出される。

【0123】

ストレージ２０５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ２０５０は、音テーブル１９０１を格納する。音テーブル１９０１は、図１９に示した、画像種別１５３１と音データ１９１１との関係を管理するテーブルである。

【0124】

ストレージ２０５０は、さらに、音出力制御モジュール２０５１を格納する。音出力制御モジュール２０５１は、目標画像としてのオブジェクト１３３０とアバター画像１３２０との位置関係に応じて、音の出力を制御するモジュールである。このモジュール２０５１は、ＣＰＵ１６１０によりＲＡＭ２０４０のアプリケーション実行領域１６４７に読み出され、実行される。なお、図２０に示したＲＡＭ２０４０やストレージ２０５０には、目標物認識性向上サーバ１８０１が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

【0125】

図２１Ａは、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの処理手順を説明するフローチャートである。図２１Ｂは、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの音出力制御の処理手順を説明するフローチャートである。これらのフローチャートは、ＣＰＵ１６１０がＲＡＭ２０４０を使用して実行し、図１８の目標物認識性向上サーバ１８０１の機能構成部を実現する。

【0126】

ステップＳ２１０１において、目標物認識性向上サーバ１８０１は、音の出力を制御する。ステップＳ２１２１において、目標物認識性向上目標物認識性向上サーバ１８０１は、アバター画像１３２０の位置を取得する。ステップＳ２１２３において、目標物認識性向上サーバ１８０１は、オブジェクト１３３０の位置を取得する。ステップＳ２１２５において、目標物認識性向上サーバ１８０１は、アバター画像１３２０とオブジェクト１３３０との位置関係を判定する。ステップＳ２１２７において、目標物認識性向上サーバ１８０１は、判定した位置関係に応じて、音の出力を制御する。

【0127】

本実施形態によれば、ユーザの視覚の他に聴覚を利用してリハビリテーションを実行するので、ユーザがより容易にオブジェクトを視認でき、リハビリテーションにより得られる効果をさらに高めることができる。また、ユーザは、視覚のみならず聴覚によってもオブジェクトの位置を把握することができる。また、音を出力するので、視力の弱いユーザであっても、本実施形態によるリハビリテーションを受けることができる。

【0128】

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0129】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図13C】

【図13D】

【図13E】

【図13F】

【図13G】

【図13H】

【図13I】

【図13J】

【図14】

【図15A】

【図15B】

【図15C】

【図16】

【図17A】

【図17B】

【図18】

【図19】

【図20】

【図21A】

【図21B】