知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024086344
(43)【公開日】2024-06-27
(54)【発明の名称】リハビリシステム、リハビリ方法及びプログラム
(51)【国際特許分類】
G06Q 50/22 20240101AFI20240620BHJP
【ＦＩ】
G06Q50/22
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022201427
(22)【出願日】2022-12-16
(71)【出願人】
【識別番号】599005435
【氏名又は名称】小原 健志
(74)【代理人】
【識別番号】100177220
【弁理士】
【氏名又は名称】小木 智彦
(72)【発明者】
【氏名】小原 健志
【テーマコード（参考）】
5L099
【Ｆターム（参考）】
5L099AA13
(57)【要約】
【課題】半側空間無視の患者に適切なリハビリ訓練を提供する。
【解決手段】半側空間無視の患者に、リハビリ訓練を提供するリハビリシステムは、現実空間の所定の位置に、オブジェクトを拡張現実として配置し、配置した前記オブジェクト（３次元構造体（箱、キャラクタ、アイコン等）等）を出力し、出力した前記オブジェクトに対する前記患者のアクション（ポインタを向ける、手で触れる等）を検知し、検知結果に基づいて、前記患者が、前記オブジェクトを認識したことを記録する。
【選択図】図１
【解決手段】半側空間無視の患者に、リハビリ訓練を提供するリハビリシステムは、現実空間の所定の位置に、オブジェクトを拡張現実として配置し、配置した前記オブジェクト（３次元構造体（箱、キャラクタ、アイコン等）等）を出力し、出力した前記オブジェクトに対する前記患者のアクション（ポインタを向ける、手で触れる等）を検知し、検知結果に基づいて、前記患者が、前記オブジェクトを認識したことを記録する。
【選択図】図１
【特許請求の範囲】
【請求項1】
半側空間無視の患者に、リハビリ訓練を提供するリハビリシステムであって、
現実空間の所定の位置に、オブジェクトを拡張現実として配置する配置部と、
配置した前記オブジェクトを出力する出力部と、
出力した前記オブジェクトに対する前記患者のアクションを検知する検知部と、
検知結果に基づいて、前記患者が、前記オブジェクトを認識したことを記録する記録部と、
を備えるリハビリシステム。
現実空間の所定の位置に、オブジェクトを拡張現実として配置する配置部と、
配置した前記オブジェクトを出力する出力部と、
出力した前記オブジェクトに対する前記患者のアクションを検知する検知部と、
検知結果に基づいて、前記患者が、前記オブジェクトを認識したことを記録する記録部と、
を備えるリハビリシステム。
【請求項2】
前記記録部は、前記患者のアクションを時系列に沿って併せて記録する、
請求項１に記載のリハビリシステム。
請求項１に記載のリハビリシステム。
【請求項3】
記録結果に基づいて、前記患者の認識範囲をマッピングするマッピング部、
を更に備える請求項１に記載のリハビリシステム。
を更に備える請求項１に記載のリハビリシステム。
【請求項4】
前記アクションが、前記オブジェクトにポインタを向けることである、
請求項１に記載のリハビリシステム。
請求項１に記載のリハビリシステム。
【請求項5】
前記アクションが、前記オブジェクトに手で触れることである、
請求項１に記載のリハビリシステム。
請求項１に記載のリハビリシステム。
【請求項6】
半側空間無視の患者に、リハビリ訓練を提供するコンピュータが実行するリハビリ方法であって、
現実空間の所定の位置に、オブジェクトを拡張現実として配置するステップと、
配置した前記オブジェクトを出力するステップと、
出力した前記オブジェクトに対する前記患者のアクションを検知するステップと、
検知結果に基づいて、前記患者が、前記オブジェクトを認識したことを記録するステップと、
を備えるリハビリ方法。
現実空間の所定の位置に、オブジェクトを拡張現実として配置するステップと、
配置した前記オブジェクトを出力するステップと、
出力した前記オブジェクトに対する前記患者のアクションを検知するステップと、
検知結果に基づいて、前記患者が、前記オブジェクトを認識したことを記録するステップと、
を備えるリハビリ方法。
【請求項7】
半側空間無視の患者に、リハビリ訓練を提供するコンピュータに、
現実空間の所定の位置に、オブジェクトを拡張現実として配置するステップ、
配置した前記オブジェクトを出力するステップ、
出力した前記オブジェクトに対する前記患者のアクションを検知するステップ、
検知結果に基づいて、前記患者が、前記オブジェクトを認識したことを記録するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
現実空間の所定の位置に、オブジェクトを拡張現実として配置するステップ、
配置した前記オブジェクトを出力するステップ、
出力した前記オブジェクトに対する前記患者のアクションを検知するステップ、
検知結果に基づいて、前記患者が、前記オブジェクトを認識したことを記録するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、半側空間無視の患者に対するリハビリ訓練の提供に有効な技術に関する。
【背景技術】
【0002】
従来、脳梗塞や脳出血などを含む頭蓋内疾患の後遺症の一つとして、半側空間無視（ＵＳＮ（ｕｎｉｌａｔｅｒａｌ ｓｐａｔｉａｌ ｎｅｇｌｅｃｔ））が知られている。この半側空間無視とは、一般的に左側の空間が認識しにくい状態を指し、この症状を有する患者は、左側の空間を認識できない又は認識しにくい状態となる。そこで、このような症状を有する患者に向けて、様々なリハビリ訓練が提供されている。
リハビリ訓練として、例えば、紙や大きな画面を用いて、左右の離れた位置に記載された文字列を、左列と右列とで交互に読むといった、左側に対して意識を向けるものが挙げられる。
また、近年では、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術により、仮想現実空間を利用したリハビリ訓練も提供されている（非特許文献１参照）。
リハビリ訓練として、例えば、紙や大きな画面を用いて、左右の離れた位置に記載された文字列を、左列と右列とで交互に読むといった、左側に対して意識を向けるものが挙げられる。
また、近年では、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術により、仮想現実空間を利用したリハビリ訓練も提供されている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】［令和４年１１月２９日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｖｉ－ｄｅｒｅ．ｃｏｍ／＞
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、非特許文献１に記載の技術では、ＶＲ技術を用いた仮想現実空間であるため、現実空間との相違が発生し、現実空間を把握する感覚と、仮想現実空間を把握する感覚との間で、乖離が発生するおそれがあった。そのため、リハビリ訓練が必ずしも適切でないおそれがあった。
加えて、非特許文献１に記載の技術では、患者がＨＤＭ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）及びコントローラを用いるものであるため、患者の首の向きや手の動きのみを検出するものであり、患者の身体の動作を的確に検出することが出来ないおそれがあった。
そのため、現実空間との乖離の発生を抑制するとともに、患者の身体の動作を的確に検出する技術が求められている。
そこで、本発明者は、現実空間との乖離の発生を抑制するとともに、患者の身体の動作を的確に検出する仕組みに着目した。
加えて、非特許文献１に記載の技術では、患者がＨＤＭ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）及びコントローラを用いるものであるため、患者の首の向きや手の動きのみを検出するものであり、患者の身体の動作を的確に検出することが出来ないおそれがあった。
そのため、現実空間との乖離の発生を抑制するとともに、患者の身体の動作を的確に検出する技術が求められている。
そこで、本発明者は、現実空間との乖離の発生を抑制するとともに、患者の身体の動作を的確に検出する仕組みに着目した。
【0005】
本発明は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を用い、離隔カメラにより患者の身体の動作を的確に検出することにより、半側空間無視の患者に適切なリハビリ訓練を提供することを可能とするリハビリシステム、リハビリ方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、半側空間無視の患者に、リハビリ訓練を提供するリハビリシステムであって、
現実空間の所定の位置に、オブジェクトを拡張現実として配置する配置部と、
配置した前記オブジェクトを出力する出力部と、
出力した前記オブジェクトに対する前記患者のアクションを検知する検知部と、
検知結果に基づいて、前記患者が、前記オブジェクトを認識したことを記録する記録部と、
を備えるリハビリシステムを提供する。
現実空間の所定の位置に、オブジェクトを拡張現実として配置する配置部と、
配置した前記オブジェクトを出力する出力部と、
出力した前記オブジェクトに対する前記患者のアクションを検知する検知部と、
検知結果に基づいて、前記患者が、前記オブジェクトを認識したことを記録する記録部と、
を備えるリハビリシステムを提供する。
【0007】
本発明によれば、リハビリシステムは、ＡＲ技術を用いたオブジェクトに対する患者のアクションを検知し、検知結果に基づいて、患者がオブジェクトを認識したことを記録する。
この結果、リハビリシステムは、現実空間との乖離の発生を抑制し、患者の身体の動作を的確に検出することにより、半側空間無視の患者に適切なリハビリ訓練を提供することが可能となる。
この結果、リハビリシステムは、現実空間との乖離の発生を抑制し、患者の身体の動作を的確に検出することにより、半側空間無視の患者に適切なリハビリ訓練を提供することが可能となる。
【0008】
本発明は、システムのカテゴリであるが、方法及びプログラムであっても同様の作用、効果を奏する。
【発明の効果】
【0009】
本発明によれば、半側空間無視の患者に適切なリハビリ訓練を提供することが可能となる。
【図面の簡単な説明】
【0010】
【図1】リハビリシステム１の概要を説明する図である。
【図2】リハビリシステム１の機能構成を示す図である。
【図3】コンピュータ１０が実行するオブジェクト配置処理のフローチャートを示す図である。
【図4】オブジェクトを拡張現実として配置する現実空間の例を模式的に示したものである。
【図5】コンピュータ１０が実行する記録処理のフローチャートを示す図である。
【図6】ウェアラブル端末３が、拡張現実としてオブジェクトを表示した状態の例を模式的に示した図である。
【図7】患者がオブジェクトに対してポインタを向けた状態の例を模式的に示したものである。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。
【0012】
［リハビリシステム１の概要］
図１は、リハビリシステム１の概要を説明するための模式図である。
図１に基づいて、リハビリシステム１の構成物について説明する。
リハビリシステム１は、サーバ機能を有するコンピュータ１０、患者が頭部に装着するウェアラブル端末３、患者の身体の動作や音声等を撮影する離隔カメラ４からなる半側空間無視の患者に、リハビリ訓練を提供するシステムである。
コンピュータ１０は、例えば、１台のコンピュータで実現されても良いし、クラウドコンピュータのように、複数のコンピュータで実現されても良い。
本明細書におけるクラウドコンピュータとは、ある特定の機能を果たす際に、任意のコンピュータをスケーラブルに用いるものや、あるシステムを実現するために複数の機能モジュールを含み、その機能を自由に組み合わせて用いるものの何れであっても良い。
リハビリシステム１を構成する各構成物は、あくまでも例であり、上述した各構成物に加えて、その他の端末や装置類等が追加されても良く、この場合、その数、種類及び機能については、適宜設計可能である。
図１は、リハビリシステム１の概要を説明するための模式図である。
図１に基づいて、リハビリシステム１の構成物について説明する。
リハビリシステム１は、サーバ機能を有するコンピュータ１０、患者が頭部に装着するウェアラブル端末３、患者の身体の動作や音声等を撮影する離隔カメラ４からなる半側空間無視の患者に、リハビリ訓練を提供するシステムである。
コンピュータ１０は、例えば、１台のコンピュータで実現されても良いし、クラウドコンピュータのように、複数のコンピュータで実現されても良い。
本明細書におけるクラウドコンピュータとは、ある特定の機能を果たす際に、任意のコンピュータをスケーラブルに用いるものや、あるシステムを実現するために複数の機能モジュールを含み、その機能を自由に組み合わせて用いるものの何れであっても良い。
リハビリシステム１を構成する各構成物は、あくまでも例であり、上述した各構成物に加えて、その他の端末や装置類等が追加されても良く、この場合、その数、種類及び機能については、適宜設計可能である。
【0013】
リハビリシステム１が、半側空間無視の患者に、リハビリ訓練を提供する際の処理ステップの概要について説明する。
【0014】
コンピュータ１０は、現実空間５の所定の位置に、オブジェクト６を拡張現実として配置する（ステップＳ１）。
オブジェクト６は、箱、キャラクタ、アイコン等の三次元構造体等である。このオブジェクト６は、ロケーションベース型ＡＲ、ビジョンベース型ＡＲ等により生成されたものである。
コンピュータ１０は、現実空間５の所定の位置に、オブジェクト６を拡張現実として配置する。このとき、コンピュータ１０は、配置したオブジェクト６の周辺環境の特徴点等に関する情報をオブジェクト情報として併せて生成する。
なお、コンピュータ１０は、離隔カメラ４が撮影する患者の位置（離隔カメラ４と患者との位置関係等）に基づいて、このオブジェクト６を配置しても良い。
オブジェクト６は、箱、キャラクタ、アイコン等の三次元構造体等である。このオブジェクト６は、ロケーションベース型ＡＲ、ビジョンベース型ＡＲ等により生成されたものである。
コンピュータ１０は、現実空間５の所定の位置に、オブジェクト６を拡張現実として配置する。このとき、コンピュータ１０は、配置したオブジェクト６の周辺環境の特徴点等に関する情報をオブジェクト情報として併せて生成する。
なお、コンピュータ１０は、離隔カメラ４が撮影する患者の位置（離隔カメラ４と患者との位置関係等）に基づいて、このオブジェクト６を配置しても良い。
【0015】
コンピュータ１０は、配置したオブジェクト６を出力する（ステップＳ２）。
コンピュータ１０は、ウェアラブル端末３が、所定の条件を満たした時、配置したオブジェクト６を、このウェアラブル端末３に、拡張現実として表示させる。
コンピュータ１０は、例えば、ウェアラブル端末３が自身の表示範囲において検出した特徴点等が、オブジェクト情報と一致した場合、このオブジェクト情報に対応するオブジェクト６を、ウェアラブル端末３に拡張現実として表示させる。
コンピュータ１０は、ウェアラブル端末３が、所定の条件を満たした時、配置したオブジェクト６を、このウェアラブル端末３に、拡張現実として表示させる。
コンピュータ１０は、例えば、ウェアラブル端末３が自身の表示範囲において検出した特徴点等が、オブジェクト情報と一致した場合、このオブジェクト情報に対応するオブジェクト６を、ウェアラブル端末３に拡張現実として表示させる。
【0016】
コンピュータ１０は、出力したオブジェクト６に対する患者のアクションを検知する（ステップＳ３）。
患者のアクションは、例えば、図示していない患者が所持するポインタを向ける、オブジェクト６を手で触れるである。
コンピュータ１０は、離隔カメラ４が撮影する患者の身体の動作に基づいて、このアクションを検知する。
患者のアクションは、例えば、図示していない患者が所持するポインタを向ける、オブジェクト６を手で触れるである。
コンピュータ１０は、離隔カメラ４が撮影する患者の身体の動作に基づいて、このアクションを検知する。
【0017】
コンピュータ１０は、検知結果に基づいて、患者が、オブジェクト６を認識したことを記録する（ステップＳ４）。
コンピュータ１０は、検知結果に基づいて、患者が、オブジェクト６を認識したことに加えて、離隔カメラ４が撮影した患者の身体の動作を時系列に沿って記録する。
コンピュータ１０は、検知結果に基づいて、患者が、オブジェクト６を認識したことに加えて、離隔カメラ４が撮影した患者の身体の動作を時系列に沿って記録する。
【0018】
以上が、リハビリシステム１の概要である。
本リハビリシステム１によれば、半側空間無視の患者に適切なリハビリ訓練を提供することが可能となる。
本リハビリシステム１によれば、半側空間無視の患者に適切なリハビリ訓練を提供することが可能となる。
【0019】
［装置構成］
図２は、リハビリシステム１の構成を示すブロック図である。図２に基づいて、リハビリシステム１の装置構成について説明する。
リハビリシステム１は、半側空間無視の患者に適切なリハビリ訓練を提供するシステムであり、コンピュータ１０、ウェアラブル端末３、離隔カメラ４により構成されるシステムである。
リハビリシステム１は、コンピュータ１０と、ウェアラブル端末３及び離隔カメラ４とが、無線接続、有線接続、公衆回線網等のネットワーク７を介して、データ通信可能に接続されたシステムである。
なお、リハビリシステム１を構成する各構成物は、あくまでも例であり、上述した各構成物に加えて、その他の端末や装置類等が追加されても良く、この場合、その数、種類及び機能については、適宜設計可能である。
図２は、リハビリシステム１の構成を示すブロック図である。図２に基づいて、リハビリシステム１の装置構成について説明する。
リハビリシステム１は、半側空間無視の患者に適切なリハビリ訓練を提供するシステムであり、コンピュータ１０、ウェアラブル端末３、離隔カメラ４により構成されるシステムである。
リハビリシステム１は、コンピュータ１０と、ウェアラブル端末３及び離隔カメラ４とが、無線接続、有線接続、公衆回線網等のネットワーク７を介して、データ通信可能に接続されたシステムである。
なお、リハビリシステム１を構成する各構成物は、あくまでも例であり、上述した各構成物に加えて、その他の端末や装置類等が追加されても良く、この場合、その数、種類及び機能については、適宜設計可能である。
【0020】
コンピュータ１０は、サーバ機能を有し、例えば、１台のコンピュータで実現されても良いし、クラウドコンピュータのように、複数のコンピュータで実現されても良い。
コンピュータ１０は、制御部として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス、配置したオブジェクトを出力する出力部１１等を備える。ＧＰＵについては必須ではない。
コンピュータ１０は、記録部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部等を備え、検知結果に基づいて、患者が、オブジェクトを認識したことを記録する記録部１２等を備える。
コンピュータ１０は、処理部として、各種処理を実行する各種デバイス、現実空間の所定の位置に、オブジェクトを拡張現実として配置する配置部１３、出力したオブジェクトに対する患者のアクションを検知する検知部１４等を備える。
コンピュータ１０は、制御部として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス、配置したオブジェクトを出力する出力部１１等を備える。ＧＰＵについては必須ではない。
コンピュータ１０は、記録部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部等を備え、検知結果に基づいて、患者が、オブジェクトを認識したことを記録する記録部１２等を備える。
コンピュータ１０は、処理部として、各種処理を実行する各種デバイス、現実空間の所定の位置に、オブジェクトを拡張現実として配置する配置部１３、出力したオブジェクトに対する患者のアクションを検知する検知部１４等を備える。
【0021】
コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、オブジェクト情報送信モジュール、撮影データ取得モジュール、出力モジュールを実現する。
また、コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、記録部と協働して、オブジェクト記録モジュール、認識結果記録モジュールを実現する。
また、コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、配置モジュール、検知モジュール、マッピングモジュールを実現する。
また、コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、記録部と協働して、オブジェクト記録モジュール、認識結果記録モジュールを実現する。
また、コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、配置モジュール、検知モジュール、マッピングモジュールを実現する。
【0022】
ウェアラブル端末３は、ユーザが頭部に装着する端末であり、例えば、ＨＭＤ、スマートグラス、ＡＲグラス等の端末である。
ウェアラブル端末３は、端末制御部として、ＣＰＵ、ＧＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス等を備え、入出力部として、各種情報の入出力を実行するためのデバイス等を備える。
ウェアラブル端末３は、端末制御部として、ＣＰＵ、ＧＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス等を備え、入出力部として、各種情報の入出力を実行するためのデバイス等を備える。
【0023】
離隔カメラ４は、患者の身体の動作や音声等を撮影するとともに、モーションキャプチャ機能を有する撮影装置である。
離隔カメラ４は、制御部として、ＣＰＵ、ＧＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス等を備え、撮影部として、ＲＧＢカメラ、各種センサ、マイク等を備える。
離隔カメラ４は、制御部として、ＣＰＵ、ＧＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス等を備え、撮影部として、ＲＧＢカメラ、各種センサ、マイク等を備える。
【0024】
以下、リハビリシステム１が実行する各処理について、上述した各モジュールが実行する処理と併せて説明する。
本明細書において、各モジュールは、その処理内容を、自身が有する機能として実行するものであっても良いし、所定のアプリケーションを介して実行するものであっても良い。
本明細書において、各モジュールは、その処理内容を、自身が有する機能として実行するものであっても良いし、所定のアプリケーションを介して実行するものであっても良い。
【0025】
［コンピュータ１０が実行するオブジェクト配置処理］
図３に基づいて、コンピュータ１０が実行するオブジェクト配置処理について説明する。同図は、コンピュータ１０が実行するオブジェクト配置処理のフローチャートを示す図である。本オブジェクト配置処理は、上述した現実空間の所定の位置に、オブジェクトを拡張現実として配置する配置処理（ステップＳ１）の詳細である。
図３に基づいて、コンピュータ１０が実行するオブジェクト配置処理について説明する。同図は、コンピュータ１０が実行するオブジェクト配置処理のフローチャートを示す図である。本オブジェクト配置処理は、上述した現実空間の所定の位置に、オブジェクトを拡張現実として配置する配置処理（ステップＳ１）の詳細である。
【0026】
配置モジュールは、現実空間の所定の位置に、オブジェクトを拡張現実として配置する（ステップＳ１０）。
オブジェクトは、三次元構造体等であり、例えば、箱、キャラクタ、アイコンである。このオブジェクトは、例えば、ロケーションベース型ＡＲ、ビジョンベース型ＡＲとして生成されたものである。特に、オブジェクトがキャラクタである場合、後述するステップＳ２２の処理において、コンピュータ１０が患者のアクションを検知する際、患者は、ゲーム感覚でリハビリ訓練を行える。
配置モジュールは、現実空間の位置情報や、周辺環境（周辺に存在する物体、この物体との距離、この物体からの方向等）自体の認識結果等に基づいて、オブジェクトを拡張現実として配置する。配置モジュールは、このオブジェクトを配置した場所の位置情報や、この場所周辺の特徴点等の周辺環境に関する情報（オブジェクト情報）を併せて生成する。
なお、配置モジュールは、離隔カメラ４が撮影する患者の位置（離隔カメラ４と患者との位置関係等）等に基づいて、オブジェクトを配置しても良い。
また、このオブジェクトが配置された現実空間に対応する場所に、所定のマーカ等が設置されても良い。
また、オブジェクトの種類は、上述した例に限定されるものではなく、オブジェクトの生成方法も、上述した例に限定されるものではない。
オブジェクトは、三次元構造体等であり、例えば、箱、キャラクタ、アイコンである。このオブジェクトは、例えば、ロケーションベース型ＡＲ、ビジョンベース型ＡＲとして生成されたものである。特に、オブジェクトがキャラクタである場合、後述するステップＳ２２の処理において、コンピュータ１０が患者のアクションを検知する際、患者は、ゲーム感覚でリハビリ訓練を行える。
配置モジュールは、現実空間の位置情報や、周辺環境（周辺に存在する物体、この物体との距離、この物体からの方向等）自体の認識結果等に基づいて、オブジェクトを拡張現実として配置する。配置モジュールは、このオブジェクトを配置した場所の位置情報や、この場所周辺の特徴点等の周辺環境に関する情報（オブジェクト情報）を併せて生成する。
なお、配置モジュールは、離隔カメラ４が撮影する患者の位置（離隔カメラ４と患者との位置関係等）等に基づいて、オブジェクトを配置しても良い。
また、このオブジェクトが配置された現実空間に対応する場所に、所定のマーカ等が設置されても良い。
また、オブジェクトの種類は、上述した例に限定されるものではなく、オブジェクトの生成方法も、上述した例に限定されるものではない。
【0027】
オブジェクト情報送信モジュールは、配置したオブジェクトに関するオブジェクト情報を、ウェアラブル端末３に送信する。
オブジェクト情報は、例えば、オブジェクトを配置した現実空間の位置情報や、この場所周辺の特徴点等の周辺環境に関する情報である。
オブジェクト情報送信モジュールは、このオブジェクト情報を、ウェアラブル端末３に送信する。
ウェアラブル端末３は、このオブジェクト情報を受信し、記録する。
なお、所定のマーカが現実空間に設置された場合、この処理を実行する必要はない。
オブジェクト情報は、例えば、オブジェクトを配置した現実空間の位置情報や、この場所周辺の特徴点等の周辺環境に関する情報である。
オブジェクト情報送信モジュールは、このオブジェクト情報を、ウェアラブル端末３に送信する。
ウェアラブル端末３は、このオブジェクト情報を受信し、記録する。
なお、所定のマーカが現実空間に設置された場合、この処理を実行する必要はない。
【0028】
図４に基づいて、現実空間にオブジェクトを配置する方法について説明する。同図は、オブジェクトを拡張現実として配置する現実空間の例を模式的に示したものである。同図において、現実空間２０が示されている。
配置モジューが、この現実空間２０において、丸印で囲まれた配置場所２１に、オブジェクトを拡張現実として配置した場合を例として説明する。
オブジェクト情報送信モジュールは、この配置場所２１の位置情報や、この配置場所２１の周辺環境（部屋の角、排気孔、壁、ドア、廻り縁等）の特徴点に関する情報（周辺環境との位置関係、距離、角度等）を、オブジェクト情報として、ウェアラブル端末３に送信する。
ウェアラブル端末３は、このオブジェクト情報を受信し、記録する。
なお、この配置場所２１に所定のマーカを設置する場合、壁等に設置しても良いし、図示していない机等に設置しても良い。
配置モジューが、この現実空間２０において、丸印で囲まれた配置場所２１に、オブジェクトを拡張現実として配置した場合を例として説明する。
オブジェクト情報送信モジュールは、この配置場所２１の位置情報や、この配置場所２１の周辺環境（部屋の角、排気孔、壁、ドア、廻り縁等）の特徴点に関する情報（周辺環境との位置関係、距離、角度等）を、オブジェクト情報として、ウェアラブル端末３に送信する。
ウェアラブル端末３は、このオブジェクト情報を受信し、記録する。
なお、この配置場所２１に所定のマーカを設置する場合、壁等に設置しても良いし、図示していない机等に設置しても良い。
【0029】
図３に戻り、オブジェクト配置処理の続きを説明する。
オブジェクト記録モジュールは、配置したオブジェクト及びオブジェクト情報を記録する（ステップＳ１２）。
オブジェクト記録モジュールは、現実空間に配置したオブジェクトの内容と、このオブジェクトのオブジェクト情報とを対応付けて記録する。
オブジェクト記録モジュールは、配置したオブジェクト及びオブジェクト情報を記録する（ステップＳ１２）。
オブジェクト記録モジュールは、現実空間に配置したオブジェクトの内容と、このオブジェクトのオブジェクト情報とを対応付けて記録する。
【0030】
以上が、オブジェクト配置処理である。
【0031】
［コンピュータ１０が実行する記録処理］
図５に基づいて、コンピュータ１０が実行する記録処理について説明する。同図は、コンピュータ１０が実行する記録処理のフローチャートを示す図である。本記録処理は、上述した配置したオブジェクトを出力する出力処理（ステップＳ２）、出力したオブジェクトに対する患者のアクションを検知する検知処理（ステップＳ３）、検知結果に基づいて、患者が、オブジェクトを認識したことを記録する記録処理（ステップＳ４）の詳細である。本記録処理は、上述したオブジェクト配置処理により配置されたオブジェクトを用いる処理である。
図５に基づいて、コンピュータ１０が実行する記録処理について説明する。同図は、コンピュータ１０が実行する記録処理のフローチャートを示す図である。本記録処理は、上述した配置したオブジェクトを出力する出力処理（ステップＳ２）、出力したオブジェクトに対する患者のアクションを検知する検知処理（ステップＳ３）、検知結果に基づいて、患者が、オブジェクトを認識したことを記録する記録処理（ステップＳ４）の詳細である。本記録処理は、上述したオブジェクト配置処理により配置されたオブジェクトを用いる処理である。
【0032】
撮影データ取得モジュールは、離隔カメラ４が撮影した撮影データを取得する（ステップＳ２０）。
離隔カメラ４は、自身が撮影する患者の身体の動作や音声等を、撮影データとして、コンピュータ１０に送信する。身体の動作は、頭部や手の動作に限定されず、頭部や手以外の身体（首、腕、足、体等）の動作である。この撮影データは、単に、患者の身体の動作や音声等を撮影した結果得られたデータに限定されず、患者の身体の動作や音声等を撮影した結果得られたデータに対して所定の処理（身体の動作や音声の認識、解析、検出等）を実行後のデータを含むものであっても良い。
撮影データ取得モジュールは、この撮影データを受信することにより、撮影データを取得する。
離隔カメラ４は、自身が撮影する患者の身体の動作や音声等を、撮影データとして、コンピュータ１０に送信する。身体の動作は、頭部や手の動作に限定されず、頭部や手以外の身体（首、腕、足、体等）の動作である。この撮影データは、単に、患者の身体の動作や音声等を撮影した結果得られたデータに限定されず、患者の身体の動作や音声等を撮影した結果得られたデータに対して所定の処理（身体の動作や音声の認識、解析、検出等）を実行後のデータを含むものであっても良い。
撮影データ取得モジュールは、この撮影データを受信することにより、撮影データを取得する。
【0033】
出力モジュールは、配置したオブジェクトを出力する（ステップＳ２１）。
ウェアラブル端末３は、自身が有するセンサやカメラ等により、記録したオブジェクト情報を現実空間において検出した際、このオブジェクト情報に該当するオブジェクトの表示をコンピュータ１０に要求する。また、ウェアラブル端末３は、自身が有するセンサやカメラ等により、現実空間に設置された所定のマーカを読み取った際、このマーカに該当するオブジェクトの表示を、コンピュータ１０に要求する。
出力モジュールは、これらの要求に基づいて、要求されたオブジェクトを、ウェアラブル端末３に送信する。
ウェアラブル端末３は、このオブジェクトを受信し、自身の表示部に表示する（図６参照）。
出力モジュールは、ウェアラブル端末３の要求に基づいたオブジェクトを、ウェアラブル端末３に表示させることにより、配置したオブジェクトを出力する。
ウェアラブル端末３は、自身が有するセンサやカメラ等により、記録したオブジェクト情報を現実空間において検出した際、このオブジェクト情報に該当するオブジェクトの表示をコンピュータ１０に要求する。また、ウェアラブル端末３は、自身が有するセンサやカメラ等により、現実空間に設置された所定のマーカを読み取った際、このマーカに該当するオブジェクトの表示を、コンピュータ１０に要求する。
出力モジュールは、これらの要求に基づいて、要求されたオブジェクトを、ウェアラブル端末３に送信する。
ウェアラブル端末３は、このオブジェクトを受信し、自身の表示部に表示する（図６参照）。
出力モジュールは、ウェアラブル端末３の要求に基づいたオブジェクトを、ウェアラブル端末３に表示させることにより、配置したオブジェクトを出力する。
【0034】
図６に基づいて、ウェアラブル端末３が表示するオブジェクトについて説明する。同図は、ウェアラブル端末３が、拡張現実としてオブジェクトを図４で示した現実空間において表示した状態の例を模式的に示したものである。同図は、ウェアラブル端末３が、オブジェクト情報を現実空間において検出した場合の例である。
ウェアラブル端末３は、記録したオブジェクト情報と同様の情報を現実空間２０において検出した際、このオブジェクト情報に該当するオブジェクト２２の表示を、コンピュータ１０に要求する。
出力モジュールは、この要求に基づいて、配置場所２１に配置したオブジェクト２２を、ウェアラブル端末３に送信する。
ウェアラブル端末３は、このオブジェクト２２を受信し、現実空間２０における配置場所２１に該当する場所に、このオブジェクト２２を拡張現実として、自身の表示部に表示する。
ウェアラブル端末３は、記録したオブジェクト情報と同様の情報を現実空間２０において検出した際、このオブジェクト情報に該当するオブジェクト２２の表示を、コンピュータ１０に要求する。
出力モジュールは、この要求に基づいて、配置場所２１に配置したオブジェクト２２を、ウェアラブル端末３に送信する。
ウェアラブル端末３は、このオブジェクト２２を受信し、現実空間２０における配置場所２１に該当する場所に、このオブジェクト２２を拡張現実として、自身の表示部に表示する。
【0035】
なお、上述した処理において、出力モジュールは、ウェアラブル端末３の要求に基づいて、オブジェクトを出力する構成であるが、ウェアラブル端末３の要求によらず、オブジェクトを出力する構成であっても良い。例えば、コンピュータ１０は、離隔カメラ４が撮影する患者の頭部や体の向きに基づいて、ウェアラブル端末３の向き及び方向を判定し、この判定結果が、配置場所を含むものである場合、ウェアラブル端末３に、オブジェクトを出力する構成等も可能である。
【0036】
検知モジュールは、出力したオブジェクトに対する患者のアクションを検知する（ステップＳ２２）。
患者のアクションは、例えば、オブジェクトにポインタを向ける、オブジェクトにポインタによりレーザ光を照射する、手で触れる、移動して身体で触れる、オブジェクトにボールや弾などのオブジェクトを射出する、オブジェクトに身体が触れることを避ける、である。なお、患者のアクションの表示に患者のアバターを用いて出力表示しても良い。
検知モジュールは、撮影データを解析等し、予め設定された所定のアクションが行われたか否かを判定する。検知モジュールは、このアクションが行われたと判定した場合、このアクションを検知することになる。例えば、検知モジュールは、解析結果が、オブジェクトに対して、手に持ったポインタを所定時間向け続ける、手に持ったポインタによりレーザ光を所定時間照射する、自身の手で所定時間触れ続ける、移動して身体で所定時間触れ続ける、の何れかであった場合、オブジェクトにボールや弾などのオブジェクトを射出し当たった場合、オブジェクトに身体が触れることを避けた場合、所定のアクションが行われたと判定し、これらのアクションを検知することになる。
なお、患者のアクションは、オブジェクトに対する方法に限定されず、それ以外の方法であっても良い。例えば、患者が所定の入力装置（ボタン、コントローラ等）に対して、オブジェクトを認識したことを入力する（ボタンの押下、コントローラの操作等）といった方法も可能である。この場合、検知モジュールは、この入力装置の入力内容を取得することにより、患者のアクションを検知することになる。
また、検知モジュールが検知する患者のアクションは、単一のアクションではなく、複数のアクションであっても良い。例えば、検知モジュールが、患者のアクションとして、手に持ったポインタを所定時間向け続ける、手に持ったポインタによりレーザ光を所定時間照射する、自身の手で所定時間触れ続ける、移動して身体で所定時間触れ続ける、オブジェクトにボールや弾などのオブジェクトを射出し当たった場合、オブジェクトに身体が触れることを避けた場合、の何れかを検知した際、出力モジュールが、表示態様を変更（色の変更、形状の変更等）したオブジェクトを、ウェアラブル端末３に出力する。患者は、所定の入力装置（ボタン、コントローラ等）に対して、オブジェクトの表示態様が変更されたことを認識したことを入力（ボタンの押下、コントローラの操作等）するといった方法も可能である。この場合、検知モジュールは、この入力装置の入力内容を取得することにより、患者のアクションを検知することになる。
患者のアクションは、例えば、オブジェクトにポインタを向ける、オブジェクトにポインタによりレーザ光を照射する、手で触れる、移動して身体で触れる、オブジェクトにボールや弾などのオブジェクトを射出する、オブジェクトに身体が触れることを避ける、である。なお、患者のアクションの表示に患者のアバターを用いて出力表示しても良い。
検知モジュールは、撮影データを解析等し、予め設定された所定のアクションが行われたか否かを判定する。検知モジュールは、このアクションが行われたと判定した場合、このアクションを検知することになる。例えば、検知モジュールは、解析結果が、オブジェクトに対して、手に持ったポインタを所定時間向け続ける、手に持ったポインタによりレーザ光を所定時間照射する、自身の手で所定時間触れ続ける、移動して身体で所定時間触れ続ける、の何れかであった場合、オブジェクトにボールや弾などのオブジェクトを射出し当たった場合、オブジェクトに身体が触れることを避けた場合、所定のアクションが行われたと判定し、これらのアクションを検知することになる。
なお、患者のアクションは、オブジェクトに対する方法に限定されず、それ以外の方法であっても良い。例えば、患者が所定の入力装置（ボタン、コントローラ等）に対して、オブジェクトを認識したことを入力する（ボタンの押下、コントローラの操作等）といった方法も可能である。この場合、検知モジュールは、この入力装置の入力内容を取得することにより、患者のアクションを検知することになる。
また、検知モジュールが検知する患者のアクションは、単一のアクションではなく、複数のアクションであっても良い。例えば、検知モジュールが、患者のアクションとして、手に持ったポインタを所定時間向け続ける、手に持ったポインタによりレーザ光を所定時間照射する、自身の手で所定時間触れ続ける、移動して身体で所定時間触れ続ける、オブジェクトにボールや弾などのオブジェクトを射出し当たった場合、オブジェクトに身体が触れることを避けた場合、の何れかを検知した際、出力モジュールが、表示態様を変更（色の変更、形状の変更等）したオブジェクトを、ウェアラブル端末３に出力する。患者は、所定の入力装置（ボタン、コントローラ等）に対して、オブジェクトの表示態様が変更されたことを認識したことを入力（ボタンの押下、コントローラの操作等）するといった方法も可能である。この場合、検知モジュールは、この入力装置の入力内容を取得することにより、患者のアクションを検知することになる。
【0037】
図７に基づいて、患者のアクションについて説明する。同図は、患者がオブジェクトに対してポインタを向けた状態の例を模式的に示したものである。
同図において、上述した図６と同様に、現実空間２０にオブジェクト２２が拡張現実として表示されている。患者は、このオブジェクト２２に対して、ポインタ３０を所定時間向け続ける。
撮影データ取得モジュールは、離隔カメラ４が、この状態の患者の動作や音声等に関する撮影データを取得する。
検知モジュールは、撮影データを解析等し、ポインタ３０を所定時間向け続けることが行われたと判定し、出力したオブジェクトに対する患者のアクションを検知する。
なお、ポインタ３０の向け方の角度等は、オブジェクト２２に対するものであれば、特に限定されない。
同図において、上述した図６と同様に、現実空間２０にオブジェクト２２が拡張現実として表示されている。患者は、このオブジェクト２２に対して、ポインタ３０を所定時間向け続ける。
撮影データ取得モジュールは、離隔カメラ４が、この状態の患者の動作や音声等に関する撮影データを取得する。
検知モジュールは、撮影データを解析等し、ポインタ３０を所定時間向け続けることが行われたと判定し、出力したオブジェクトに対する患者のアクションを検知する。
なお、ポインタ３０の向け方の角度等は、オブジェクト２２に対するものであれば、特に限定されない。
【0038】
図５に戻り、記録処理の続きを説明する。
認識結果記録モジュールは、検知結果に基づいて、患者がオブジェクトを認識したことを記録する（ステップＳ２３）。
認識結果記録モジュールは、検知結果に基づいて、患者がオブジェクトを認識したことに加えて、認識した際の患者の身体の動作を時系列に沿って記録する。この時、認識結果記録モジュールは、オブジェクトの出力時点から、患者がオブジェクトを認識するまでの間の患者の動作を時系列に沿って記録する。更に、患者がオブジェクトを認識するまでに必要だった時間や音声等の動作以外の患者に関する内容を併せて記録しても良い。
なお、認識結果記録モジュールは、患者がオブジェクトを認識した時点から所定の時間前までの間の患者の動作を時系列に沿って記録しても良い。
認識結果記録モジュールは、検知結果に基づいて、患者がオブジェクトを認識したことを記録する（ステップＳ２３）。
認識結果記録モジュールは、検知結果に基づいて、患者がオブジェクトを認識したことに加えて、認識した際の患者の身体の動作を時系列に沿って記録する。この時、認識結果記録モジュールは、オブジェクトの出力時点から、患者がオブジェクトを認識するまでの間の患者の動作を時系列に沿って記録する。更に、患者がオブジェクトを認識するまでに必要だった時間や音声等の動作以外の患者に関する内容を併せて記録しても良い。
なお、認識結果記録モジュールは、患者がオブジェクトを認識した時点から所定の時間前までの間の患者の動作を時系列に沿って記録しても良い。
【0039】
マッピングモジュールは、記録結果に基づいて、患者の認識範囲をマッピングする（ステップＳ２４）。
マッピングモジュールは、患者の頭や首の向きや角度、体の向きや角度等に基づいて、オブジェクトを認識可能な範囲と、認識不可能な範囲とを、視野空間の三次元マップに、マッピングする。マッピングモジュールは、認識不可能な領域を所定の色彩で着色する等により、患者の視野空間をマッピングする。
マッピングモジュールは、患者の頭や首の向きや角度、体の向きや角度等に基づいて、オブジェクトを認識可能な範囲と、認識不可能な範囲とを、視野空間の三次元マップに、マッピングする。マッピングモジュールは、認識不可能な領域を所定の色彩で着色する等により、患者の視野空間をマッピングする。
【0040】
以上が、記録処理である。
【0041】
なお、コンピュータ１０は、上述したオブジェクト配置処理及び記録処理を複数回実行した結果、患者の認識範囲に変化が有った場合、マッピングする視野空間の三次元マップにおいて、変化した認識範囲（改善された認識範囲）を、認識不可能だった領域とは異なる色彩で着色する等の構成も可能である。
【0042】
上述した各処理は、別個の処理として記載しているが、コンピュータ１０は、上述した各処理の一部又は全部を組み合わせて実行する構成も可能である。また、コンピュータ１０は、各処理において、説明したタイミング以外のタイミングであっても、その処理を実行する構成も可能である。
【0043】
上述した手段、機能は、コンピュータ（ＣＰＵ、ＧＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態やクラウドサービスで提供されて良い。また、プログラムは、コンピュータ読取可能な記録媒体に記録された形態で提供されて良い。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記録装置又は外部記録装置に転送し記録して実行する。また、そのプログラムを、記録装置（記録媒体）に予め記録しておき、その記録装置から通信回線を介してコンピュータに提供するようにしても良い。
【0044】
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【0045】
本実施形態に開示される第１の態様は、半側空間無視の改善及び再改善を支援するリハビリシステムであって、
半側空間無視の患者に、リハビリ訓練を提供するリハビリシステムであって、
現実空間の所定の位置に、オブジェクトを拡張現実として配置する配置部１３と、
配置した前記オブジェクトを出力する出力部１１と、
出力した前記オブジェクトに対する前記患者のアクションを検知する検知部１４と、
検知結果に基づいて、前記患者が、前記オブジェクトを認識したことを記録する記録部１２と、
を備えるリハビリシステム。
半側空間無視の患者に、リハビリ訓練を提供するリハビリシステムであって、
現実空間の所定の位置に、オブジェクトを拡張現実として配置する配置部１３と、
配置した前記オブジェクトを出力する出力部１１と、
出力した前記オブジェクトに対する前記患者のアクションを検知する検知部１４と、
検知結果に基づいて、前記患者が、前記オブジェクトを認識したことを記録する記録部１２と、
を備えるリハビリシステム。
【0046】
本実施形態に開示される第２の態様は、前記記録部１２が、前記患者のアクションを時系列に沿って併せて記録する、第１の態様に記載のリハビリシステム。
【0047】
本実施形態に開示される第３の態様は記録結果に基づいて、前記患者の認識範囲をマッピングするマッピング部、
を更に備える第１の態様に記載のリハビリシステム。
を更に備える第１の態様に記載のリハビリシステム。
【0048】
本実施形態に開示される第４の態様は、前記アクションが、前記オブジェクトにポインタを向けることである、
第１の態様に記載のリハビリシステム。
第１の態様に記載のリハビリシステム。
【0049】
本実施形態に開示される第５の態様は、前記アクションが、前記オブジェクトに手で触れることである、
第１の態様に記載のリハビリシステム。
第１の態様に記載のリハビリシステム。
【符号の説明】
【0050】
１ リハビリシステム
３ ウェアラブル端末
４ 離隔カメラ
５ 現実空間
６ オブジェクト
７ ネットワーク
１０ コンピュータ
１１ 出力部
１２ 記録部
１３ 配置部
１４ 検知部
２０ 現実空間
２１ 配置場所
２２ オブジェクト
３０ ポインタ
３ ウェアラブル端末
４ 離隔カメラ
５ 現実空間
６ オブジェクト
７ ネットワーク
１０ コンピュータ
１１ 出力部
１２ 記録部
１３ 配置部
１４ 検知部
２０ 現実空間
２１ 配置場所
２２ オブジェクト
３０ ポインタ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
