【解決手段】ローカルコンピュータが(a)仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練を準備する段階と、(b)被験者が着用することにより仮想現実環境が作り上げられるHMD及びVRコントローラ装備との双方向通信を通して、前記リハビリテーション訓練を遂行する段階と、(c)前記リハビリテーション訓練に従って目標を達成したかを判断する段階と、(d)前記(a)段階で選択された追加業務を提供する段階と、(e)結果を提供する段階と、(f)被験者に終了するかどうかを確認して終了ないし、前記(a)段階以後の過程を繰り返し遂行する段階を選択する段階と、を含み、物語を理解し、興味を持ってリハビリを行うことで参加度を向上させ、リハビリに伴う効率を極大化させる。
前記(a−3)段階で、被験者による進行方式の選択が、前記「短編へ進む」方式の場合、前記ローカルコンピュータが物語の流れに関係なく、コンテンツ内の登場人物たちが遂行する行動や動作のみを攻略して実行するように提供することを特徴とする、請求項5に記載の仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価方法。
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述したような問題点を解決するため、本発明は、仮想現実空間で御伽話を進めていきながら、ロールプレイングを行うことによって患者の包括的な認知リハビリテーション訓練を誘導できるようにする、仮想現実環境を用いたロールプレイングを通しての認知リハビリテーション訓練及び評価方法の提供を目的とする。
【課題を解決するための手段】
【0007】
上述した目的を達成するための本発明に係る仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価方法は、(a)ローカルコンピュータが、仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練を整える段階と、(b)前記ローカルコンピュータが、被験者が着用することで仮想現実環境を作り出すHMD及びVRコントローラ装備との双方向通信を通して、物語におけるロールプレイングを通しての認知リハビリテーション訓練を遂行する段階と、(c)前記ローカルコンピュータが、前記認知リハビリテーション訓練に沿って目標を達成したかどうかを判断する段階と、(d)前記ローカルコンピュータが、前記(a)段階で選択した追加の業務を提供する段階と、(e)前記ローカルコンピュータが結果を提供する段階と、(f)前記ローカルコンピュータが被験者に終了するかどうかを確認し、「終了」を選択すると、コンテンツを終了し、「続きをやる」を選択すると、前記(a)段階以後の過程を繰り返して行う段階と、を含むことを特徴とする。
【0008】
好ましくは、上述した目的を達成するための本発明に係る仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価方法の(a)段階は、(a−1)前記ローカルコンピュータが、前記HMD及びVRコントローラ装備の接続を確認する段階と、(a−2)前記ローカルコンピュータが、接続された前記HMDにコンテンツリストを提供し、被験者が選択したコンテンツを受信する段階と、(a−3)前記ローカルコンピュータが、被験者が選択したコンテンツの「物語へ進む 」方式と「短編へ進む」方式を提供し、前記VRコントローラの操作に応じて選択された進行方式を受信する段階と、(a−4)前記被験者が選択した進行方式が、前記「物語へ進む」方式の場合、前記ローカルコンピュータが注意事項及び進行方式を提供する段階と、を含むことを特徴とする。
【0009】
好ましくは、上述した目的を達成するための本発明に係る仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価方法の(b)段階は、(b−1)前記ローカルコンピュータが、前記被験者が選択したコンテンツの物語を始める段階と、(b−2)前記ローカルコンピュータが、被験者が選択したコンテンツの「物語へ進む」過程で遂行すべき目標を提示して確認を受ける段階と、(b−3)前記ローカルコンピュータが、前記目標を達成するために必要な道具を選択するようにする段階と、(b−4)前記ローカルコンピュータが、前記目標を達成するための環境が作り上げられたところに被験者を移動させた後、選択した道具で目標を達成するよう命令を伝達する段階と、(b−5)被験者が前記VRコントローラを使って、前記(b−3)段階で選択した道具で目標を達成するための行動を実行する段階と、を含むことを特徴とする。
【0010】
好ましくは、上述した目的を達成するための本発明に係る仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価方法の(b)段階は、(b−6)前記ローカルコンピュータの状況判断の発生部が、前記目標を達成するための行動を実行する過程で、被験者に前記コンテンツで起こり得る状況を演出して、被験者との質疑応答を通じて演出された状況を判断できるようにする段階と、をさらに含むことを特徴とする。
【0011】
好ましくは、上述した目的を達成するための本発明に係る仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価方法(b)段階は、(b−7)前記ローカルコンピュータの突発状況発生部が、前記目標を達成するための行動を実行する過程で、被験者に前記コンテンツで起こり得る突発状況を発生させ、被験者が前記VRコントローラの操作で前記突発状況を克服できるようにする段階と、をさらに含むことを特徴とする。
【0012】
好ましくは、上述した目的を達成するための本発明に係る仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価方法は、前記(a−3)段階で被験者が選択した進行方式が前記「短編へ進む」方式の場合、前記ローカルコンピュータが、物語の流れに関係なく、コンテンツ内の登場人物たちが遂行する行動や動作のみを攻略して実行するように提供することを特徴とする。
【0013】
好ましくは、上述した目的を達成するための本発明に係る仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価方法は、(f)段階で、前記「続いてやる」の選択に応じて前記(a)段階以後の過程を繰り返し遂行する段階の前に、被験者は選択したコンテンツにおける前記目標と前記追加業務の変更が可能であることを特徴とする。
【発明の効果】
【0014】
本発明に係る仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価方法は、童話の物語に出てくる特定人物の行動をリハビリプログラムに構成し、被験者が物語の主人公になって、プログラムとして構成された行動を遂行するようにすることで、童話の物語を理解しながら、興味をもってリハビリを行うため、参加度を向上させることができる効果があり、合わせて、リハビリ運動に伴う効率を極大化させることができる効果がある。
【発明を実施するための形態】
【0016】
本発明は、様々な変更を加えることができ、いくつかの実施例を有することができることを、特定の実施例の図面を参照して、詳細に説明する。しかし、これは本発明を特定の実施形態について限定するものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。各図面を説明する際、類似の参照符号を類似の構成要素に対して用いている。
【0017】
第1、第2、A、Bなどの用語は、多様な構成要素を説明するために用いられることができるが、前記構成要素は、前記の用語によって限定されてはならない。前記用語は、1つの構成要素を他の構成要素から区別するための目的のみに用いられる。例えば、本発明の権利範囲を外れないと同時に、第1の構成要素は、第2の構成要素と命名することができ、同様に第2の構成要素も第1の構成要素と命名することができる。及び/又はという用語は、複数の関連する記載項目の組み合わせ、或いは複数の関連する記載項目のうちのいずれかの項目を含む。
【0018】
ある構成要素が他の構成要素に「連結され」ているとか、「接続され」ていると言及するときは、その他の構成要素に直接連結されているか、または接続されている場合もあり得るが、その間に他の構成要素が存在する可能性もあり得ることを理解しなければならない。その反面、ある構成要素が他の構成要素に「直接連結され」ているとか、「直接接続され」ていると言及するときは、その間に他の構成要素が存在しないものと理解しなければならない。
【0019】
本出願にて用いられた用語は、単に特定した実施例を説明するために使用されたものであって、本発明を限定する意図ではない。単数表現は、文脈上、明らかに別の意味を有さない限り、複数の表現を含む。本出願において「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在、または付加可能性を予め排除しないものと理解されるべきである。
【0020】
特に定義されない限り、技術的または科学的な用語を含み、ここで使用されるすべての用語は、本発明が属する技術分野において通常の知識を有する者によって、一般的に理解されるものと同様の意味を有している。一般に用いられる辞典に定義されているような用語は、関連技術の文脈における意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的または過度に形式的な意味に解釈されない。
【0021】
明細書及び請求の範囲の全体において、ある部分がある構成要素を含むとしたとき、これは特に反対の記載がない限り、他の構成要素を除外するものではなく、他の構成要素をさらに含むことができることを意味する。
【0022】
以下、添付された図面を参照して、本発明に係る仮想現実環境を用いた認知および遂行能力の訓練評価の方法について詳細に説明する。
【0023】
図1に示すように、本発明に係る仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価システムは、HMD(Head Mounted Display:頭部着用ディスプレイ)100、VRコントローラ200、ローカルコンピュータ300、通信網400、およびコンテンツサーバ500を含む。
【0024】
前記HMD100は、被験者が頭部に着用する装備であって、仮想の映像を提供する。
【0025】
前記VRコントローラ200は、前記HMD100と連動して、被験者が手に持ち、操作に応じて前記HMD100から提供される画面の道具を選択したり、使ったりして業務を遂行する。
【0026】
前記ローカルコンピュータ300は、デスクトップPCと同様の仕様を有する装備であって、童話の物語がリハビリプログラムに再構成されて保存されており、有線・無線で連結された被験者が着用した端末である前記HMD100に仮想現実リハビリ映像を提供し、該映像に遂行業務を表示する。
【0027】
特に、前記ローカルコンピュータ300は、
図2に示すように主制御部310、映像提供部320、通信部330、音声提供部340、目標提供部350、道具提供部360、状況判断発生部370、突発状況発生部380、およびデータベース部390を含む。
【0028】
以下にてもう一つの実施例として、上述したような構成を有する本発明に係る仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価方法について、
図3を参照して詳細に説明する。
【0029】
特に、本発明に係る仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価方法の詳細な説明において、理解を助けるため、御伽話の金の斧銀の斧を一例に説明する。
【0030】
まず、本発明に係る仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価システムは、認知リハビリテーション訓練を準備する段階を遂行する(S100)。
【0031】
図4を参照して、前記(S100)段階をより具体的に説明すると、前記本発明に係る仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価システムを構成する前記HMD100と前記VRコントローラ200を着用し、前記ローカルコンピュータ300に接続すると、前記ローカルコンピュータ300が前記装備の接続を確認する段階を遂行する(S110)。
【0032】
前記ローカルコンピュータ300の主制御部310は、データベース部390のコンテンツDB391に保存された、金の斧銀の斧、ヘンゼルとグレーテルなどのコンテンツのリストを、接続した前記HMD100に提供し、被験者が選択したコンテンツを受信する段階を遂行する(S120)。
【0033】
前記ローカルコンピュータ300は、前記(S120)の段階で、被験者がコンテンツを選択すると、
図6aに示すように表示する。
【0034】
前記HMD100と連動する前記VRコントローラ200の操作に応じて、被験者が選択したコンテンツを進行方式の選択ボタンと一緒に表示し、進行方式の選択を受信する段階を遂行する(S130)。
【0035】
すなわち、前記ローカルコンピュータ300は、
図6bに示すように、「物語へ進む」、「短編へ進む」、「終了」のメニューボタンを、被験者が選択したコンテンツの画面と共に前記HMD100に表示されるようにし、ボタンを選択する際、効果音を発生させる。
【0036】
前記(S130)段階にて、被験者が選択した進行方式が「物語へ進む」なのか「短編へ進む」なのかを判断する段階(S140)の後、「物語へ進む」の場合、前記ローカルコンピュータ300の主制御部310は、選択したコンテンツと関連して、前記HMD100に注意事項及び進行方式に関する説明を提供する段階を遂行する(S150)。
【0037】
前記注意事項の内容は、座った状態での訓練の遂行、被験者の周囲半径1メートル以内のものの整理及びアクセス禁止、過度な頭の回転の禁止、めまい発生時の訓練終了などがある。
【0038】
前記進行方式に対する説明には、
図6cに示すように、仮想空間でコントロール操作によりメニュー又は道具を選択する方法や道具の使用についての説明、「物語へ進む」と「短編へ進む」の2つの構成からなるという説明、初めての被験者に対して「物語へ進む」を遂行するよう述べる説明、反復エラーにより進行が困難な場合、進行ガイドフレーズの表示を活用するよう述べる説明、および物語を進めることが困難な場合には、短編での遂行を通じて継続的に訓練の適用が可能であることを述べる説明などが含まれる。
【0039】
前記(S140)段階において、「物語へ進む」でない場合、前記ローカルコンピュータ300は、「短編へ進む」(S150´)を遂行する。
【0040】
前記「短編へ進む」は、物語の流れに関係なくコンテンツ内の登場人物たちが遂行する特定の行動や動作のみを独立に短編的に実行する訓練に該当する。
【0041】
前記「短編へ進む」は、前に前記被験者がコンテンツの「物語へ進む」を行った後、目標達成が難しかった特定の行動や動作を集中的に攻略して訓練することができるようにし、被験者が脆弱だった行動や動作を強化させることができる。
【0042】
上述したように、認知リハビリテーション訓練を準備する、前記(S100)段階が完了すると、前記ローカルコンピュータ300は、認知リハビリテーション訓練を実行する段階を遂行する(S200)。
【0043】
まず、被験者が前記(S150)段階にて示された注意事項と進行方式を確認すると、前記ローカルコンピュータ300は、被験者が、前記(S130)段階にて選択した進行方式に応じて
図6dに示すように、(S120)において、被験者が選択したコンテンツの物語が始まる段階を遂行する(S210)。
【0044】
この時、前記ローカルコンピュータ300の主制御部310が、前記コンテンツDB391から映像データを抽出すると、前記映像提供部320が前記映像データを前記通信部330を介して前記HMD100に提供する。
【0045】
また、この時、前記ローカルコンピュータ300の主制御部310が前記コンテンツDB391から音声データを抽出し、前記音声提供部340が前記音声データを、前記通信部330を介して前記HMD100に提供する。
【0046】
前記ローカルコンピュータ300は、被験者が選択したコンテンツの物語を進める過程で、リハビリ対象者である被験者が物語の中で、今日遂行しなければならない目標を提示し、確認を受ける段階を遂行する(S220)。
【0047】
すなわち、
図7aに示すように、前記ローカルコンピュータ300の目標提供部350は、前記データベース部390の目標DB392に格納された目標を提供するが、より具体的には、被験者が選択した「金の斧銀の斧」コンテンツから、今日伐採する木のリストが、例えば、オーク4本、銀の木4本、金の木4本を目標として提供され、確認を受ける。
【0048】
前記ローカルコンピュータ300の道具提供部360は、前記データベース部390の道具DB393から前記(S220)段階にて提示された目標を被験者が達成するために必要な道具のデータを提供し、被験者の選択を受信する段階を遂行する(S230)。
【0049】
すなわち、
図7bに示すように、被験者は、前記VRコントローラ200を操作することにより、連動された仮想の手で、木を伐採するために必要な道具「斧」の外に、さまざまな道具を選択することができる。また、前記VRコントローラ200の制御により仮想の手の位置を変更して、所望する道具を選択することができ、仮想の手をバスケットに入れて道具の選択を完了することができる。
【0050】
もちろん、間違った道具を選択した場合、被験者は、前記VRコントローラ200を操作することで他の道具を選択することができる。
【0051】
以降は、前記ローカルコンピュータ300は、物語を続けながら、道具を選択した被験者がその道具を使用して目標を達成できるよう「道具選択完了」メッセージを提示し、森へ移動する次の画面への進行を続けていく。
【0052】
この時、被験者は、画面の切り替えに応じて森へ移動するために、少なくとも一歩以上、移動の歩行リハビリ運動が遂行されるようになる。
【0053】
前記ローカルコンピュータ300は、目標を達成するための「木を伐採する」命令を、被験者のHMD100に伝達する段階を遂行する(S240)。
【0054】
図7cに示すように、左側に台車、正面に森(金の木、銀の木、オーク)、 右側に池が設けられ、実際、被験者が「木を伐採する」命令に従って業務を実行することができる環境が作り上げられている。
【0055】
前記S240段階における「木を伐採する」命令を受信した被験者は、前記VRコントローラ200を使って、前記(S230)段階で選択した道具で「木を伐採する」を実行するための段階を遂行する(S250)。
【0056】
前記(S230)段階で選択した道具のうち、鉄の斧を使って、該鉄の斧を横に振り回す時、「木を伐採する」が実行される。
【0057】
実際、被験者は、前記VRコントローラ200を手でつかんで振り回す動作をすることで、リハビリ運動が遂行されるのである。
【0058】
本発明にて例に挙げたコンテンツは、「金の斧銀の斧」であって、木こりの役割のうち、斧打ちをする動作をリハビリ運動に適用させたものであり、コンテンツの種類に応じて物語の中の「投げ、拾い」は、被験者が目標回数及び時間に応じて前記VRコントローラ200をクリックする役割の遂行作業を通してリハビリ運動を遂行し、「眺める」の場合、目標地点を照準する役割を遂行する作業によりリハビリ運動を行い、「移動する、進む」の場合、目標地点に移動したり、目標の速度で動く役割を遂行する作業によりリハビリ運動を行う。
【0059】
この時、前記ローカルコンピュータ300の主制御部310は、「目標地点を照準する」の場合、照準の正確性について点数化する。また、頭、腕、足などの身体の動きに応じた移動を含む「目標地点に移動する」の場合、移動の正確性について点数化する。また、頭、腕、足などの体の動きの速度を含む「目標速度で動く」の場合、動き速度の正確性について点数化する。コントローラに搭載された多数のボタンの重複または単一使用を含む「目標回数及び時間に応じて、コントローラをクリックする」の場合、目標回数及び時間の正確性について点数化して、被験者のリハビリ運動を評価するのが好ましい。
【0060】
本コンテンツでは、計3回振り回せば、効果音が発生し、1本の木を獲得することになり、よりリアルな現場音を提供するために、木の揺れ、タッチコントローラー、バイブレーション効果などを、前記HMD100のディスプレイ部と音発生部で具現され得るようにするのが好ましい。
【0061】
被験者は、前記(S250)段階で「木を伐採する」を実行しつつ、落ちている木を左側の台車に積む「木の拾い」などをさらに遂行して、腰を曲げたり伸ばしたりするリハビリ運動を遂行することもできる。
【0062】
また、前記ローカルコンピュータ300の状況判断発生部370は、前記被験者が斧で木を伐採する過程で、
図7dに示すように斧が池に落ちた状況を演出した後、状況を判断させる段階を遂行する(S260)。
【0063】
すなわち、斧が池に落ちた状況を演出した後、活性化された池をタッチすることにより、
図8aに示すように、仮想の水神様が登場し、水神様は池に落とした斧について質問を提示し、返答に応じて選択された道具を利用して目標を達成するため、「伐採」を再実行するように命令する段階を遂行する。
【0064】
前記ローカルコンピュータ300は、前記被験者が返答する選択に応じて返答が真の場合、池に落ちた斧と他の斧を与え、偽の場合は、池に落ちた斧を与えるのが好ましい。
【0065】
状況判断が完了すると、前記ローカルコンピュータ300の突発状況発生部380は、「採伐」前の画面(森の画面)を提供し、「採伐」が継続して行われるようにしつつ、突発状況を演出する段階を遂行する(S270)。
【0066】
その前に、前記突発状況が発生する前、あらかじめ被験者に告知することが好ましいが、
図8bに示すように木を盗もうとする泥棒がいるので、「伐採」の際、注意するよう公知し、泥棒が出現した時、左耳にかさつくような音を効果音として発生させて泥棒の出現を知らせ、被験者は、前記VRコントローラ200を振り回し、泥棒を威嚇して追い払うことができるが、泥棒の出現を認知できなかった場合、木を奪われてしまい、目標達成により多くの時間がかかることになる。
【0067】
上記ローカルコンピュータ300は、上記目標を提示し、確認を受ける上記(S220)段階へ画面を移動し、提示された目標を達成したかを判断する段階を実行する(S300)。
【0068】
上記(S300)段階で、上記ローカルコンピュータ300は、目標達成の判断結果に応じて、目標未達時も
図7cに示された森の画面に切り替えられ、(S240)段階以後の過程を繰り返し実行するようにし、目標を達成した時、お祝いのメッセージを提供するのが好ましい。
【0069】
目標が達成されると、上記ローカルコンピュータ300の主制御部310は、データベース部390の追加業務DB393に格納された追加業務で達成された目標をもって遂行できる追加の業務を提供する段階をさらに遂行することもできる(S400)。
【0070】
すなわち、
図8dに示すように、上記ローカルコンピュータ300は、目標達成に応じて獲得した目的物である木のリストで構成された椅子作りを追加の業務として提供するが、より具体的に、被験者は、所持したVRコントローラ200と、左側の完成した椅子を参考にして、右側に木片を位置移動及び回転制御することにより、椅子の組み立て業務を遂行する。
【0071】
上記ローカルコンピュータ300は、被験者によって追加の業務である椅子づくりが完成したら、追加のメッセージを送り、
図9aに示された結末のエンディングコメントと共にエンディング画面と
図9bのような結果グラフを提供する段階を実行する(S500)。
【0072】
上記結果のグラフには、計画、実行、結果に対する実行の所要時間を棒グラフの形で提示し、計画、実行、結果の段階で実行された時間を比率で提供する。
【0073】
上述したように、提供した結果に対する結果確認ボタンを、被験者が所持したVRコントローラ200でクリックすると、上記ローカルコンピュータ300は、ゲーム終了画面へ移動する段階を遂行する(S600)。
【0074】
上記被験者は、
図9cに示すように終了画面で終了する時、選択した「金の斧銀の斧」のコンテンツが終了され、「続きをやる」を選択した時、「物語へ進む」を再開することになるが、「続きをやる」の選択に応じて前記ローカルコンピュータ300は、前記(S100)段階の(S120)段階以後の段階を繰り返し実行するようになる。
【0075】
この時、前記被験者はVRコントローラ200を制御し、実行すべき目標と追加業務を変更して選択することができる。
【0076】
本発明に係る仮想現実環境を用いた物語におけるロールプレイングを通しての認知リハビリテーション訓練及び評価システムの最後の構成である、上記コンテンツサーバ500は、前記ローカルコンピュータ300と通信網400に連結され、被験者のコンテンツの遂行結果を格納し、被験者IDと年齢などを含む被験者の個人情報を日付別にデータベース化し、被験者のコンテンツの遂行を分析する。
【0077】
また、前記コンテンツサーバ500は、前記ローカルコンピュータ300の要請に応じて、被験者が実行したコンテンツによる分析の結果及びその分析結果の生(raw)のデータを提供する。
【0078】
以上のような説明は、本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野において通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲で様々な修正及び変形が可能である。したがって、本発明に開示された実施例は、本発明の技術思想を限定するためのものではなく、説明するためのものであり、このような実施例により、本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は、次の請求の範囲により解釈されるべきであり、それと同等の範囲内にあるすべての技術思想は、本発明の権利範囲に含まれるものと解釈されるべきである。