(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-14
(45)【発行日】2023-11-22
(54)【発明の名称】リハビリテーション支援装置、リハビリテーション支援方法及びリハビリテーション支援プログラム
(51)【国際特許分類】
A61H 1/02 20060101AFI20231115BHJP
G09G 5/00 20060101ALI20231115BHJP
【FI】
A61H1/02 C
A61H1/02 K
G09G5/00 510A
G09G5/00 550C
G09G5/00 510V
(21)【出願番号】P 2019085585
(22)【出願日】2019-04-26
(62)【分割の表示】P 2019000904の分割
【原出願日】2019-01-07
【審査請求日】2022-01-07
(73)【特許権者】
【識別番号】517147593
【氏名又は名称】株式会社mediVR
(74)【代理人】
【識別番号】100134430
【氏名又は名称】加藤 卓士
(74)【代理人】
【識別番号】100198960
【氏名又は名称】奥住 忍
(72)【発明者】
【氏名】原 正彦
【審査官】小林 睦
(56)【参考文献】
【文献】特許第6425287(JP,B1)
【文献】特開2012-063253(JP,A)
【文献】米国特許出願公開第2017/0053545(US,A1)
【文献】特開2016-224086(JP,A)
【文献】特開2005-274433(JP,A)
【文献】特開2016-184296(JP,A)
【文献】特開2017-161645(JP,A)
【文献】特開2018-097683(JP,A)
【文献】特開2011-033433(JP,A)
【文献】特開2016-212646(JP,A)
【文献】特開2017-130793(JP,A)
【文献】特開2018-183383(JP,A)
【文献】特開2016-110296(JP,A)
【文献】特開2018-180503(JP,A)
【文献】米国特許出願公開第2012/0287040(US,A1)
【文献】特開2017-181584(JP,A)
【文献】国際公開第2017/192125(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61H 1/02
G09G 5/00
(57)【特許請求の範囲】
【請求項1】
ヘッドマウントディスプレイを装着したユーザの頭の向きを検出する検出部と、
前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に出現させ、前記検出部で検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる第1表示制御部と、
前記目標オブジェクトの位置が前記仮想空間内の基準方向または前記ユーザの頭の向きに対して相対的にどちらの方向及び距離であるかを示す報知画像を前記ヘッドマウントディスプレイに表示させる第2表示制御部と、
オペレータによる前記目標オブジェクトの表示位置の設定操作を受け付ける操作部と、
を備えたリハビリテーション支援装置であって、
前記操作部は、異なる方向及び距離ごとに分割された複数のブロックを表示し、前記複数のブロックの中から前記目標オブジェクトを表示するブロックを選択可能であり、
前記報知画像は、前記複数のブロック
を表すブロック画像を含むリハビリテーション支援装置。
【請求項2】
前記
報知画像は、前記ブロック画像のどのブロックが着色されるかによって示される請求項1に記載のリハビリテーション支援装置。
【請求項3】
前記報知画像は、
前記ユーザの視野を示す視野領域画像または上方から見た前記ユーザの頭の向きを示す頭画像を含む請求項1に記載のリハビリテーション支援装置。
【請求項4】
前記報知画像は、前記ユーザの視野外に出現する前記目標オブジェクトの位置を報知する請求項1または2に記載のリハビリテーション支援装置。
【請求項5】
検出部がヘッドマウントディスプレイを装着したユーザの頭の向きを検出する検出ステップと、
第1表示制御部が、前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に出現させ、前記検出ステップで検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる第1表示制御ステップと、
操作部が、オペレータによる前記目標オブジェクトの表示位置の設定操作を受け付ける操作ステップと、
第2表示制御部が、前記目標オブジェクトの位置が前記仮想空間内の基準方向または前記ユーザの頭の向きに対して相対的にどちらの方向及び距離であるかを示す報知画像を前記ヘッドマウントディスプレイに表示させる第2表示制御ステップと、
を含むリハビリテーション支援方法であって、
前記操作ステップは、異なる方向及び距離ごとに分割された複数のブロックを表示し、前記複数のブロックの中から前記目標オブジェクトを表示するブロックを選択可能であり、
前記報知画像は、前記複数のブロック
を表すブロック画像を含むリハビリテーション支援方法。
【請求項6】
ヘッドマウントディスプレイを装着したユーザの頭の向きを検出する検出ステップと、
前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に出現させ、前記検出ステップで検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる第1表示制御ステップと、
オペレータによる前記目標オブジェクトの表示位置の設定操作を受け付ける操作ステップと、
前記目標オブジェクトの位置が前記仮想空間内の基準方向または前記ユーザの頭の向きに対して相対的にどちらの方向及び距離であるかを示す報知画像を前記ヘッドマウントディスプレイに表示させる第2表示制御ステップと、
をコンピュータに実行させるリハビリテーション支援プログラムであって、
前記操作ステップは、異なる方向及び距離ごとに分割された複数のブロックを表示し、前記複数のブロックの中から前記目標オブジェクトを表示するブロックを選択可能であり、
前記報知画像は
、前記複数のブロック
を表すブロック画像を含むリハビリテーション支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラムに関する。
【背景技術】
【0002】
上記技術分野において、特許文献1には、脳卒中等による片麻痺患者に対して行なわれるリハビリテーションを支援するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【非特許文献】
【0004】
【文献】Nichols S, Patel H: Health and safety implications of virtual reality: a review of empirical evidence. Appl Ergon 2002;33:251-271
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記文献に記載の技術では、頭部に装着した表示装置によってユーザの視野が狭くなる。具体的には、表示装置を装着前に約180度あった視野が、110度程度まで狭くなる。
【0006】
その場合、表示装置を装着前には首を回さなくても見えていたものが、首を回さなければ見えなくなる。結果として、人が有する平衡感覚の入力刺激としての視覚情報と内耳情報との間に乖離が生じ、いわゆる車酔いのように気分が悪くなる場合があった。このように視野角に制限のある表示装置を装着すること等で視覚情報と内耳情報の乖離が生じる現象を、医学的にセンサリコンフリクト(sensory conflict)と呼ぶ。
【0007】
例えば人が周りに何もない状況で地震に遭遇すると、「視覚情報」として地面や背景に変化はなく、視覚からの入力は「動いていない」という情報となる。一方で「内耳情報」では、明らかに揺れを検知する情報が得られ、内耳からの入力は「動いている」という情報となる。これがsensory conflictによって気分が悪くなるメカニズムであり、この現象は地震後めまい症候群(Post Earthquake Dizziness Syndrome, PEDS)としてよく知られている。
【0008】
小児や子供が乗り物酔いを生じやすい理由も、内耳からの入力は「動き」を感じているにもかかわらず、視野が狭いために視覚からの情報が「動いていない」と誤って入力され、sensory conflictが生じるためだと推定されている。この場合、窓の外を見ることで乗り物酔いが予防できることはよく知られているが、これは視覚からの入力情報を正しく得られるようにする工夫であり、結果として視覚情報と内耳情報を一致させ、sensory conflictを防いでいる。また、例えば乗り物の先頭から次の移動先の景色を見ることも乗り物酔いの予防方法としてよく使われる方法である。これは、次に得られるであろう内耳情報の変化をあらかじめ視覚情報から予測しておくことによってsensory conflictを予防するための工夫であり、さらに船酔いに慣れる等のようにsensory conflictは繰り返し同じ条件を経験させることで学習し、予防することも可能な現象でだと考えられている。
【0009】
つまり、sensory conflictは今後得られるであろう入力情報を事前に予測(や学習)しておくことで予防可能である。
【0010】
近年では、視野に制限のある表示装置(HMD)を装着することで視覚情報と内耳情報の乖離が生じ、平衡感覚が乱され、気分が悪くなることが問題となっている(VR酔い)。視野が制限されているために、いつもの感覚で得られる視覚情報と内耳情報とは異なった入力が行われ、sensory conflictが生じることが分かっている(非特許文献1)。
【0011】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【0012】
上記目的を達成するため、本発明に係るリハビリテーション支援装置は、
ヘッドマウントディスプレイを装着したユーザの頭の向きを検出する検出部と、
前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に出現させ、前記検出部で検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる第1表示制御部と、
前記目標オブジェクトの位置が前記仮想空間内の基準方向または前記ユーザの頭の向きに対して相対的にどちらの方向及び距離であるかを示す報知画像を前記ヘッドマウントディスプレイに表示させる第2表示制御部と、
オペレータによる前記目標オブジェクトの表示位置の設定操作を受け付ける操作部と、
を備えたリハビリテーション支援装置であって、
前記操作部は、異なる方向及び距離ごとに分割された複数のブロックを表示し、前記複数のブロックの中から前記目標オブジェクトを表示するブロックを選択可能であり、
前記報知画像は、前記複数のブロックを表すブロック画像を含む。
【0014】
上記目的を達成するため、本発明に係るリハビリテーション支援方法は、
検出部がヘッドマウントディスプレイを装着したユーザの頭の向きを検出する検出ステップと、
第1表示制御部が、前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に出現させ、前記検出ステップで検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる第1表示制御ステップと、
操作部が、オペレータによる前記目標オブジェクトの表示位置の設定操作を受け付ける操作ステップと、
第2表示制御部が、前記目標オブジェクトの位置が前記仮想空間内の基準方向または前記ユーザの頭の向きに対して相対的にどちらの方向及び距離であるかを示す報知画像を前記ヘッドマウントディスプレイに表示させる第2表示制御ステップと、
を含むリハビリテーション支援方法であって、
前記操作ステップは、異なる方向及び距離ごとに分割された複数のブロックを表示し、前記複数のブロックの中から前記目標オブジェクトを表示するブロックを選択可能であり、
前記報知画像は、前記複数のブロックを表すブロック画像を含む。
【0015】
上記目的を達成するため、本発明に係るリハビリテーション支援プログラムは、
ヘッドマウントディスプレイを装着したユーザの頭の向きを検出する検出ステップと、
前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に出現させ、前記検出ステップで検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる第1表示制御ステップと、
オペレータによる前記目標オブジェクトの表示位置の設定操作を受け付ける操作ステップと、
前記目標オブジェクトの位置が前記仮想空間内の基準方向または前記ユーザの頭の向きに対して相対的にどちらの方向及び距離であるかを示す報知画像を前記ヘッドマウントディスプレイに表示させる第2表示制御ステップと、
をコンピュータに実行させるリハビリテーション支援プログラムであって、
前記操作ステップは、異なる方向及び距離ごとに分割された複数のブロックを表示し、前記複数のブロックの中から前記目標オブジェクトを表示するブロックを選択可能であり、
前記報知画像は、前記複数のブロックを表すブロック画像を含む。
【発明の効果】
【0016】
本発明によれば、ユーザにとって快適なリハビリテーションを提供することができる。
【図面の簡単な説明】
【0017】
【
図1】本発明の第1実施形態に係るリハビリテーション支援システムの構成を示すブロック図である。
【
図2】第2実施形態に係るリハビリテーション支援システムの構成を示すブロック図である。
【
図3A】第2実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。
【
図3B】第2実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。
【
図3C】第2実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。
【
図3D】第2実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。
【
図3E】第2実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。
【
図3F】第2実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。
【
図3G】第2実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。
【
図4】第2実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。
【
図5】第2実施形態に係るリハビリテーション支援システムの処理の流れを示すフローチャートである。
【
図6】第2実施形態に係るリハビリテーション支援システムの他の表示画面例を示す図である。
【
図7】第3実施形態に係るリハビリテーション支援システムの操作画面例を示す図である。
【
図8】第3実施形態に係るリハビリテーション支援システムの他の操作画面例を示す図である。
【
図9】第3実施形態に係るリハビリテーション支援システムのさらに他の操作画面例を示す図である。
【発明を実施するための形態】
【0018】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【0019】
[第1実施形態]
本発明の第1実施形態としてのリハビリテーション支援システム100について、
図1を用いて説明する。リハビリテーション支援システム100は、ユーザ110に対して行われるリハビリテーションを支援するシステムである。
【0020】
図1に示すように、リハビリテーション支援システム100は、検出部101、表示制御部102、103を含む。
【0021】
検出部101は、ヘッドマウントディスプレイ111を装着したユーザ110の頭の向きを検出する。
【0022】
表示制御部102は、ユーザ110に視認させるリハビリテーション用の目標オブジェクト122を仮想空間内に生成し、検出部101で検出したユーザ110の頭の向きに応じて、ヘッドマウントディスプレイ111に表示させる。表示制御部103は、目標オブジェクト122の位置を報知するための報知画像131をヘッドマウントディスプレイ111に表示させる。
【0023】
本実施形態によれば、報知画像を画面に表示することで、次に得られるであろう内耳情報の変化をあらかじめ視覚情報から予測させて、sensory conflictを防ぐことができる。
【0024】
[第2実施形態]
本発明の第2実施形態に係るリハビリテーション支援システム200について、
図2を用いて説明する。
図2は、本実施形態に係るリハビリテーション支援システム200の構成を説明するための図である。
【0025】
図2に示すように、リハビリテーション支援システム200は、リハビリテーション支援装置210と、2つのベースステーション231、232と、ヘッドマウントディスプレイ233と、2つのコントローラ234、235とを備える。ユーザ220は、椅子221に座りながら、ヘッドマウントディスプレイ233の表示に合わせて、上半身をねじったり、手を伸ばしたりすることでリハビリテーション動作を行なう。本実施形態では、椅子に座って行なうリハビリテーションを前提に説明するが、本発明はこれに限定されるものではない。
【0026】
2つのベースステーション231、232は、ヘッドマウントディスプレイ233の動きおよびコントローラ234、235の動きを検知して、リハビリテーション支援装置210に送る。リハビリテーション支援装置210は、ユーザ220のリハビリテーション動作を評価しつつ、ヘッドマウントディスプレイ233の表示制御を行なう。
【0027】
なお、ヘッドマウントディスプレイ233としては、非透過タイプでも、ビデオシースルータイプでも、オプティカルシースルータイプでも構わない。
【0028】
本実施形態では、ユーザの手の位置を検出するためのセンサの一例として、ユーザ220が手に持つコントローラ234、235や、ベースステーション231、232を示しているが、本発明はこれに限定されるものではない。画像処理によりユーザの手の位置を検出するためのカメラ(深度センサを含む)、温度によりユーザの手の位置を検出するためのセンサ、ユーザの腕に装着させる腕時計型のウェアラブル端末などや、モーションキャプチャなども、本発明のセンサの概念に含まれる。
【0029】
リハビリテーション支援装置210は、動作検出部211と表示制御部212、213と評価部214と更新部215、タスクセットデータベース216と操作部217とを備える。
【0030】
動作検出部211は、ユーザ220が手に持つコントローラ234、235の位置をベースステーション231、232を介して取得し、ユーザ220の手の位置の変化によりユーザ220のリハビリテーション動作を検出する。
【0031】
表示制御部212は、検出したリハビリテーション動作に応じて動くアバターオブジェクト241と、リハビリテーション動作の目標を示す目標オブジェクト242と、を仮想空間内に生成する。そして、それらのアバターオブジェクト241および目標オブジェクト242の画像を、動作検出部211が検出したヘッドマウントディスプレイ233の向きおよび位置に応じて、表示画面240に表示させる。アバターオブジェクト241および目標オブジェクト242の画像は、背景画像243に重畳表示される。ここでは、アバターオブジェクト241は、コントローラ234、235と同じ形状をしているがこれに限定されるものではない。アバターオブジェクト241は、コントローラ234、235の動きに合わせて表示画面240中を動く。アバターオブジェクト241に表示されている通り、コントローラ234、235にはボタンが用意されており、各種設定操作など可能に構成されている。背景画像243は、地平線244と、地表面画像245とを含んでいる。
【0032】
表示制御部212は、目標オブジェクト242を、ユーザ220の頭上方向から下方に向けて降下してきているように、表示位置および大きさを徐々に変えて表示する。ユーザ220は、コントローラ234、235を動かして、画面中のアバターオブジェクト241を、目標オブジェクト242に近づける。アバターオブジェクト241に含まれるセンサオブジェクト(ここでは不図示)が目標オブジェクト242にぶつかると、目標オブジェクト242は消滅する。
【0033】
表示制御部213は、さらに、レーダスクリーン画像250をヘッドマウントディスプレイ233の表示画面240に表示させる。レーダスクリーン画像250は、目標オブジェクト242の位置が、仮想空間内の基準方向(ここでは椅子にまっすぐに腰掛けたユーザの正面方向となるように初期設定されている)に対して、相対的にどちらの方向であるかを示す。
【0034】
表示制御部213は、ユーザ220の頭の向きにかかわらず、レーダスクリーン画像250をヘッドマウントディスプレイ233の表示画面240の中央部分(例えば-50度~50度の範囲内)に表示させる。
【0035】
レーダスクリーン画像250は、上方から見たユーザの頭を表わす頭画像251と、頭画像251の周囲を複数のブロックに分割したブロック画像252と、ユーザの視野領域を示す視野領域画像としての扇型画像253と、を含む。目標オブジェクトの位置を示す目標位置画像は、ブロック画像252のどのブロックが着色されるかによって示される。これにより、ユーザ220は、自分が向いている方向に対して左側に目標オブジェクトがあるのか、右側に目標オブジェクトがあるのかを、知ることができる。なお、本実施形態では、ブロック画像252が固定されて、扇型画像253が動く構成としているが、本発明はこれに限定されるものではなく、扇型画像253や頭画像251を固定しつつ、ブロック画像252を頭の向きに応じて動かしてもよい。具体的には頭が左に向けば、ブロック画像252が右に回転する構成でもよい。
【0036】
評価部214は、動作検出部211が検出したリハビリテーション動作と、表示制御部212によって表示された目標オブジェクトが表わす目標位置とを比較して、ユーザ220のリハビリテーション能力を評価する。具体的には、動作検出部211が検出したリハビリテーション動作に対応して移動するアバターオブジェクト241と目標オブジェクト242とが重なったか否かを、3次元仮想空間中の位置の比較により決定する。
【0037】
これらが重なれば、一つのリハビリテーション動作をクリアしたものと評価し、ポイントを加算する。表示制御部212は、目標オブジェクト242を、奥行き方向について異なる位置(例えば3段階の位置)に出現させることができる。評価部214は、それぞれ、異なるポイント(遠いオブジェクトには高いポイント、近いオブジェクトには低いポイント)を付与する。
【0038】
更新部215は、積算されたポイントに応じて、目標課題を更新する。例えば、課題達成率(目標達成数/課題数)などを用いて目標課題を更新してもよい。
【0039】
タスクセットデータベース216は、複数のタスクのセットを格納している。タスクとは、ユーザが行なうべき1回のリハビリテーション動作を示す。具体的には、1つのタスクを表わす情報として、どの位置にどのような速度で、どのような大きさの目標オブジェクトを出現させたか、その際、アバターオブジェクトはどのような大きさだったかなどを格納している。タスクセットデータベース216は、そのような複数のタスクをどのような順番でユーザに提供するかを決めるタスクセットを格納している。
【0040】
例えば、病院毎のテンプレートとしてタスクセットを格納してもよいし、実行したタスクセットの履歴をユーザごとに格納してもよい。リハビリテーション支援装置210は、インターネットを介して他のリハビリテーション支援装置と通信可能に構成されていてもよく、その場合、1つのタスクセットを、同じユーザが複数の場所で実行することもできるし、様々なテンプレートを離れた複数のユーザ同士で共有することもできる。
【0041】
操作部217は、表示制御部212および表示制御部213での表示制御を操作するために設けられている。具体的には、操作部217は、
図3A~
図3Gのように、オペレータ向けの操作画面300を表示させる。ここで設定画面を表示するディスプレイは、リハビリテーション支援装置210に接続された外部ディスプレイでもよいし、リハビリテーション支援装置210に内蔵されたディスプレイでもよく、デバイスを問わない。操作画面300は、ユーザ視野画面301と各種パラメータ設定画面302とスコア表示画面303と一時停止ボタン304と再センタボタン305と終了ボタン307とを含んでいる。
図3A~
図3Gは、説明のために、実際のユーザ220の様子を表わした領域306を含んでいるが、操作画面300は、領域306を含む必要は無い。
【0042】
ユーザ視野画面301は、ヘッドマウントディスプレイ233に実際に表示されている画像を表示している。ユーザ視野画面301の中には、仮想空間内の基準方向311が表示される。
図2で説明したとおり、ユーザ視野画面301には、その中央部分(例えば-50度~50度の視野角範囲)にレーダスクリーン画像250が表示されている。そして、次に現われる目標オブジェクト242の位置が、仮想空間内の基準方向に対して、相対的にどちらの方向であるかを表わしている。この例では、ブロック画像252の着色位置により、仮想空間内の基準方向311に対して左方向の一番遠い位置に、目標オブジェクト242が現われることを示している。そして、扇型画像253の位置および頭画像251の向きにより、既にユーザは、左方向に向いていることが分かる。
【0043】
また、各種パラメータ設定画面302は、タスクを規定する複数のパラメータを設定するための画面である。操作部217は、各種パラメータ設定画面302に対する入力を、不図示の入力デバイスから受け付ける。入力デバイスは、マウスやキーボードでもよいし、タッチパネルでも良く、その技術構成を問わない。
【0044】
各種パラメータ設定画面302は、左右の目標オブジェクトの大きさを決める入力領域321と、アバターオブジェクト241の大きさを決める入力領域322と、目標オブジェクトの落下スピードを決める入力領域323と、次に現われる目標オブジェクトの位置を決める入力領域324とを含む。さらにホットキーによる目標オブジェクトの出現位置の操作を受け付けるか否かを設定するチェックボックス325を有している。
【0045】
入力領域321は、右と左のそれぞれにおいて、ユーザに目標オブジェクトの位置を見やすくするための視認用オブジェクトの半径(視認サイズ)と、アバターオブジェクト241と反応する目標オブジェクトの半径(評価サイズ)とを設定可能である。つまり、
図3Aの例では、ユーザには半径20cmのボールが見えているが、実際にはそのボールの中央に位置する半径10cmのボールにタッチしなければタスクを完了したことにならない。視認サイズが小さければ、ユーザは目標オブジェクトを見つけるのが困難になる。視認サイズを大きくすれば、ユーザは目標オブジェクトを見つけやすくなる。評価サイズを大きくすれば、アバターオブジェクト241のずれの許容量が大きくなり、評価サイズを小さくすれば、アバターオブジェクト241のずれの許容量が小さくなりよりシビアにリハビリテーション動作を評価できる。これらの視認サイズと評価サイズとを一致させることもできる。
【0046】
入力領域322では、アバターオブジェクト241のセンササイズ(センサオブジェクトのサイズ)を左右バラバラに設定できる。センササイズが大きければ、手の位置が目標オブジェクトから大きくずれていても、タスクを達成したことになるためリハビリテーション動作の難易度は下がる。逆にセンササイズが小さければ、手を目標オブジェクトの中央領域(評価用サイズに依存)に、正確に動かさなければならないため、よりリハビリテーション動作の難易度が上がる。
図3Aの例では、センササイズは左右それぞれ1.75cmとなっている。
【0047】
入力領域323では、目標オブジェクト242が仮想空間内で動く速度を左右それぞれで規定できる。この例では70cm/sの速度に設定されている。
【0048】
つまり、
図3Aの例では、ユーザ220は仮想空間の中で、1.75cmのセンサ部分を含むアバターオブジェクト(コントローラ)をつかんで、左側の遠い場所において70cm/sの速度で落下する半径10cmの目標オブジェクト(ボール)に接触させることがタスクとなる。
【0049】
入力領域324は、レーダスクリーン画像250を拡大した形状となっている。チェックボックス325がチェックされているので、入力領域324における複数のブロックのいずれかをクリックまたはタップする操作が行なわれた場合に、操作が行なわれたブロックの位置に対応する仮想空間内の位置に、目標オブジェクト242を発生させる。
【0050】
一方、スコア表示画面303は、レーダスクリーン拡大画像331と、スコアリスト332を含む。レーダスクリーン拡大画像331は、ヘッドマウントディスプレイ233に表示されたレーダスクリーン画像250を拡大したものであり、ユーザの動きと目標オブジェクト242が次に出現する位置に応じてリアルタイムに変化する。
【0051】
スコアリスト332は、どの位置におけるタスクの合計回数および、そのタスクを何回達成したかを示す点数が示されている。点数は分数様に表記してもよいし、パーセント表示でも、またはそれらの組み合わせ等でもよい。評価部214は、1つのタスクセットで決められた一連のリハビリテーション動作の後、このスコアリスト332の値を用いて、リハビリテーション評価ポイントを導き出す。
【0052】
このとき、評価部214は、目標オブジェクトの出現位置、アバターオブジェクト241によるタッチ精度、連続達成回数、によってポイントに重み付けをする。本実施形態では落下スピードやタスク間隔は重み付けの材料に入れていない。これは、必ずしも運動強度がスピードに依存しないという事実に基づいており、さらに、事故の防止などの観点からも、ユーザを焦らせる要素を排除している。
【0053】
一時停止ボタン304は、一連のリハビリテーション動作を一時停止するためのボタンである。終了ボタン307は、一連のリハビリテーション動作を終了させるボタンである。
【0054】
再センタボタン305は、ユーザ220の位置に合わせて仮想空間を再構築するための再構築指示をオペレータから受け付けるボタンである。再センタボタン305が操作されると、表示制御部212は、その瞬間のヘッドマウントディスプレイ233の位置を原点とし、その瞬間のヘッドマウントディスプレイ233の向きを基準方向とする仮想空間を再構築する。
【0055】
図3Bは、
図3Aのユーザ視野画面301に目標オブジェクト242が出現した状態を示している。この状態で、領域306に示されているようにユーザ220が左腕を伸ばすと、ユーザ視野画面301に、アバターオブジェクト241が現われる。目標オブジェクト242の周囲には、目標オブジェクト242の視認性をよくするための視認用オブジェクト312が表示されている。ここでは視認用オブジェクト312はドーナツ形状であるが、本願発明はこれに限定されず、目標オブジェクトから放射状に延びた線や矢印などでもよい。入力領域321で設定した視認サイズとは、このドーナツ形状の視認用オブジェクト312の半径を示している。
【0056】
図3Cは、
図3Bの目標オブジェクト242がさらに下降して、アバターオブジェクト241と触れる瞬間のユーザ視野画面301を示している。この時点でアバターオブジェクト241と視認用オブジェクト312は触れているが、この時点では、目標オブジェクト242は消滅せず、タスク達成とはならない(一定の点数は入りgood評価される)。目標オブジェクト242にアバターオブジェクト241が触れて初めてタスク達成(perfect評価)となる。
【0057】
図3Dは、
図3Cの目標オブジェクト242がさらに下降して、アバターオブジェクト241と触れ、目標オブジェクト242が消えた直後のユーザ視野画面301を示している。
【0058】
図3Eは、ユーザは仮想空間の中で、1.75cmのセンサ部分を含むアバターオブジェクト(コントローラ)をつかんで、ユーザから見て右側の遠い場所において70cm/sの速度で落下する半径10cmの目標オブジェクト(ボール)に接触させることをタスクとする操作画面300を示している。
【0059】
図3Fは、右側の目標オブジェクトのサイズを3cmに設定変更した一方で、センササイズを10cmに設定変更した操作画面300を示している。センササイズが10cmと大きいため、アバターオブジェクト241からセンサオブジェクト313がはみ出して視認できる。ユーザは仮想空間の中で、10cmのセンサオブジェクト313を含むアバターオブジェクト(コントローラ)をつかんで、ユーザから見て右側の遠い場所において20cm/sの速度で落下する半径3cmの目標オブジェクト(ボール)に接触させることをタスクとする。
【0060】
図3Gは、右側の目標オブジェクトのサイズを30cmに設定変更した一方で、センササイズを10cmに設定変更した操作画面300を示している。ユーザは仮想空間の中で、10cmのセンサオブジェクト313を含むアバターオブジェクト(コントローラ)をつかんで、ユーザから見て右側の遠い場所において20cm/sの速度で落下する半径30cmの目標オブジェクト(ボール)に接触させることをタスクとする。
【0061】
図4に示すように、背景画像として、実際の風景を撮像して得た風景映像(例えばニューヨークの町並みを撮影した動画)を表示してもよい。風景映像としては、リハビリ施設の周囲の道路の映像を用いても良く、外国の映像を用いてもよい。異国を散歩している気分にさせたり、身近な場所を散歩している気分にさせたりすることができる。風景映像を重畳することで、患者を楽しませつつ、情報量が多い中でのトレーニングを実現することができる。
【0062】
図5は、リハビリテーション支援装置210における処理の流れを示すフローチャートである。
【0063】
ステップS501において、キャリブレーション処理として、リハビリテーション動作の目標をユーザに合わせて初期化する。具体的には、各患者に最初にキャリブレーションとして行動可能範囲の作業を行ってもらい、それを初期値に設定した上で目標をユーザに合わせて初期化する。
【0064】
次に、ステップS503において、タスクを開始する。具体的にはオペレータが、一つ一つのタスクをリアルタイムで指定していく方法のほか、タスクセットデータベースから、テンプレートと呼ばれるタスクセットを読出して、あらかじめ設定された複数のタスクから順番にタスク要求(つまり表示制御部212による目標オブジェクトの表示)を行なってもよい。
【0065】
ステップS505において、タスクをクリアしたか判定し、クリアすれば、そのクリアの程度(perfectかgoodか)に応じて、点数を記録する
ステップS507において、タスクセットのタスクが全て終了したか、あるいはオペレータが終了ボタン307を押したかを判定する。
【0066】
終了でなければ、ステップS503に戻り、次のタスクを開始する。終了であれば、ステップS511に進み、タスクごとの点数に条件による重み付けをした上で集計して、累計ポイントを算出する。
【0067】
ステップS507では、点数の変化などからユーザの疲労度を算出して、疲労度が所定の閾値を超えれば、「停止条件」として処理を自動終了させてもよい。
【0068】
(デュアルタスクについて)
健常者は、普段の日常で「話をしながら歩く」など2つ以上のことを同時に行っている。この様な「2つのことを同時に行う能力」は加齢とともに衰えてくる。例えば「歩行中に話しかけられると、足を止めてしまう」などといったことが起こる。高齢者が転倒する原因は、「運動機能が低下していること」だけではなく、この様な「2つのことを同時に行う能力の低下」が関与していると考えられる。実際に、リハビリテーションにより十分に運動機能が回復したと判断されても、帰宅後に転倒してしまう高齢者は大勢いる。これは、リハビリテーション動作に集中できる環境・条件を整えた状態でリハビリテーションを行なっていることが一つの要因である。つまり、生活環境では、そのように動作に集中できない要因、例えば見晴らしが悪い、障害物が存在する、会話に意識が向いている、といった条件下での動作であることが多いからである。
【0069】
そこで、注意を分散させるようなリハビリテーションを行なうことが重要と考えられ、具体的にデュアルタスクを与えてトレーニングすることが望ましい。このようなデュアルタスクトレーニングは、高齢者の転倒のみならず、認知症の予防にも有効なプログラムである。
【0070】
デュアルタスクトレーニングには、認知課題と運動課題を組み合わせたトレーニングの他、2種類の運動課題を組み合わせたトレーニングも含まれる。
【0071】
上記のように
図3A~
図3Gで説明したタスクは、レーダスクリーン画像で、次の目標オブジェクトの位置を確認し(認知課題)、その位置にタイミング良く身体を向けて手を伸ばす(運動課題)必要があるため、認知+運動のデュアルタスクとなっている。
【0072】
他の認知課題+運動課題としては、100から1ずつ引き算をしながら手を伸ばすなどのトレーニングや、コップに入った水を溢さないように手を伸ばすなどのトレーニングが挙げられる。
【0073】
評価部214は、単純な運動に比べてデュアルタスク運動検査で20%程度評価が下がるような場合は、デュアルタスクを繰り返すように表示制御部212に通知する。
【0074】
(他のデュアルタスクトレーニング例)
図6に示すように、背景画面に質問画像(例えば、かけ算)を重畳表示したり、音声で質問したりして、複数の目標オブジェクトのうち、答えが表示された目標オブジェクトの取得を高く評価してもよい。背景画面にグー・チョキ・パーのいずれかを表示し、それに勝つマークが表示されたオブジェクトの回収を要求してもよい。このような選択式の課題+運動課題は、より高度な認知機能を要求するデュアルタスクトレーニングとなる。
【0075】
さらには、単にオブジェクトに数字を表示させ、数字の大きいオブジェクトの取得のみを評価してもよい。
【0076】
評価部214は、シングルタスクの点数とデュアルタスクの点数とを比較し、その点差を用いて認知機能の評価を行なってもよい。
【0077】
2つの運動機能を同時に要求するデュアルタスクトレーニングとしては、例えば2つのフットペダルを用意し、いずれかのフットペダルを踏んでいるときのみ、目標オブジェクトの回収が可能となっている構成でもよい。ユーザは、右からの目標オブジェクトに対しては、右足でフットペダルを踏みつつ、右手を伸ばさなければならないため、手足を連動させる、2重の運動機能が要求される。他にも、オブジェクトを回収する側のアバターオブジェクトとは逆側のアバターオブジェクトを常に指定された場所に触れさせることを要求するといったことが考えられる。
【0078】
以上、本実施形態によれば、レーダスクリーン画像によって、ユーザが頭を向けるべき方向があらかじめ認識できるため、視野が狭くなっても、内耳情報に混乱を生じさせず、VR酔いを防止できる。すなわちヘッドマウントディスプレイを用いたリハビリテーション中において、ユーザにとって快適なリハビリテーションを提供することができる。
【0079】
なお、次のオブジェクトの位置を立体音声を利用して報知してもよい。
【0080】
なお、目標オブジェクトは垂直落下とは限らず、水平に向かってくるターゲットにタッチする構成でもよい。
【0081】
[第3実施形態]
次に本発明の第3実施形態に係るリハビリテーション支援装置について、
図7~
図9を用いて説明する。
図7~
図9は、リハビリテーション支援装置の操作画面700、800、900を示す図である。本実施形態に係るリハビリテーション支援装置は、上記第2実施形態と比べると、操作画面のレイアウトが異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0082】
図7は、オペレータによるマニュアル操作に基づいてタスクを生成してユーザに提供するための操作画面700を示す図である。ユーザ視野画面301、再センタボタン305などおよびその内容は
図3Aで説明した画面と同じである。
【0083】
操作画面700は、左側に、過去に出現させた目標オブジェクトの位置およびその達成回数(達成率)を示すスコア表示領域732と、各種パラメータ設定領域721と、タスク履歴表示領域741と、を含む。さらに、操作画面700は、次に現われる目標オブジェクトの位置を決める入力領域724と、ホットキーによる目標オブジェクトの出現位置の操作を受け付けるか否かを設定するチェックボックス725とを有している。
【0084】
図8は、タスクセットデータベース216から読出したタスクセットをユーザに実行させる場合の操作画面800を示す図である。ユーザ視野画面301、再センタボタン305などおよびその内容は
図3Aで説明した画面と同じである。
【0085】
操作画面800は、各種パラメータ設定領域を有しておらず、タスク履歴表示領域841と、過去に出現させた目標オブジェクトの位置およびその達成回数(達成率)を示すスコア表示領域832と、今後発生するタスクリスト表示領域833と、を含む。
【0086】
図9は、タスクセットデータベース216に格納されたタスクセットの内容表示および編集画面900の一例を示す図である。
図9の画面では、38個のタスクからなるタスクセット901が表示されている。
【0087】
タスクセット901に含まれる1つ一つのタスクは、発生時間911、タスク間隔912、タスク位置913、タスク角度914、タスク距離915、スピード916、パーフェクト判定基準917、グッド判定基準918、キャッチ判定基準919のパラメータを有している。
【0088】
図9は、No.2のタスクのパラメータを編集しようとしている状態を示している。編集後に、保存ボタン902を選択すれば、タスクセットデータベース216のタスクセットが更新される。
【0089】
集計データ表示領域903には、合計プレイ時間や、左手および右手のタスクの合計数が表示される。
【0090】
新規タスク登録領域904では、各種のパラメータを設定した新規のタスクをタスクセット901に追加することができる。出現位置やスピードなどのパラメータを全て設定して新規登録ボタン941を選択すれば、上部のタスクセット901に一行追加される。ここではNo.39のタスクとして登録される。
以上のように、本実施形態では、より操作性がよく、ユーザフレンドリーなリハビリテーション支援装置を提供することができる。
【0091】
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【0092】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現するリハビリテーション支援プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。