IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社mediVRの特許一覧

特許7448943リハビリテーション支援装置、その方法およびプログラム
<>
  • 特許-リハビリテーション支援装置、その方法およびプログラム 図1
  • 特許-リハビリテーション支援装置、その方法およびプログラム 図2
  • 特許-リハビリテーション支援装置、その方法およびプログラム 図3A
  • 特許-リハビリテーション支援装置、その方法およびプログラム 図3B
  • 特許-リハビリテーション支援装置、その方法およびプログラム 図4
  • 特許-リハビリテーション支援装置、その方法およびプログラム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-05
(45)【発行日】2024-03-13
(54)【発明の名称】リハビリテーション支援装置、その方法およびプログラム
(51)【国際特許分類】
   G06F 3/01 20060101AFI20240306BHJP
【FI】
G06F3/01 510
【請求項の数】 9
(21)【出願番号】P 2020077242
(22)【出願日】2020-04-24
(62)【分割の表示】P 2019184295の分割
【原出願日】2019-10-07
(65)【公開番号】P2021060957
(43)【公開日】2021-04-15
【審査請求日】2022-10-03
【新規性喪失の例外の表示】特許法第30条第2項適用 1.公開日 平成30年10月24日 刊行物 Progress in Rehabilitation Medicine Volume 3(2018) 2.販売日 平成31年3月26日 販売した場所 株式会社mediVR 大阪本社
(73)【特許権者】
【識別番号】517147593
【氏名又は名称】株式会社mediVR
(74)【代理人】
【識別番号】100134430
【弁理士】
【氏名又は名称】加藤 卓士
(72)【発明者】
【氏名】原 正彦
【審査官】円子 英紀
(56)【参考文献】
【文献】特開2019-076290(JP,A)
【文献】特開2013-257716(JP,A)
【文献】特表2016-541035(JP,A)
【文献】特開2012-155655(JP,A)
【文献】特開2017-119031(JP,A)
【文献】特開2019-139424(JP,A)
【文献】特表2019-526103(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
ユーザのリハビリテ-ションを支援する装置であって、
ヘッドマウントディスプレイを装着した前記ユーザの頭の向きを検出する検出部と、
前記ユーザの周囲の実空間における床面または壁面の位置を検知する第1検知部と、
前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に生成し、前記検出部で検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる表示制御部と、
を備え、
前記表示制御部は、ユーザ個々の動作レベルに応じて、転倒または疾患増悪のリスクのある所には、前記目標オブジェクトを表示させないリハビリテーション支援装置。
【請求項2】
前記ユーザの周囲の実空間における障害物の位置を検知する第2検知部をさらに備え、
前記表示制御部は、前記第2検知部が検知した障害物と衝突する危険を回避するため、前記障害物の方向以外の方向に、前記目標オブジェクトを表示させる請求項1に記載のリハビリテーション支援装置。
【請求項3】
前記ユーザの周囲の実空間における障害物の位置を検知する第2検知部をさらに備え、
前記表示制御部は、前記第2検知部が検知した障害物と衝突する危険を回避するため、前記障害物の方向に、障害物オブジェクトまたは禁止通知画像を表示させる請求項1または2に記載のリハビリテーション支援装置。
【請求項4】
前記ユーザの周囲の実空間における障害物の位置を検知する第2検知部をさらに備え、
前記表示制御部は、前記第2検知部が検知した障害物と衝突する危険を回避するため、前記障害物を検知した場合に、前記目標オブジェクトの表示を中止させ、または前記ヘッドマウントディスプレイに表示される画面を一時的に停止させ、または前記ヘッドマウントディスプレイの画面表示自体を中止させ、または前記目標オブジェクトの動きを停止させる請求項1乃至3のいずれか1項に記載のリハビリテーション支援装置。
【請求項5】
前記第1検知部が、前記ヘッドマウントディスプレイに設けられた請求項1乃至4のいずれか1項に記載のリハビリテーション支援装置。
【請求項6】
リハビリテーションの前にユーザの動作レベルを事前評価するキャリブレーション部をさらに備え、
前記表示制御部は、前記キャリブレーション部の評価結果に基づいて、前記目標オブジェクトの生成位置を決定する請求項1乃至5のいずれか1項に記載のリハビリテーション支援装置。
【請求項7】
リハビリテーション中にユーザの動作レベルを評価するレベル評価部をさらに備え、
前記表示制御部は、前記レベル評価部の評価結果に基づいて、前記目標オブジェクトの生成位置を決定する請求項1乃至6のいずれか1項に記載のリハビリテーション支援装置。
【請求項8】
ユーザのリハビリテ-ションを支援する方法であって、
ヘッドマウントディスプレイを装着した前記ユーザの頭の向きを検出する検出ステップと、
前記ユーザの周囲の実空間における床面または壁面の位置を検知する検知ステップと、
前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に生成し、前記検出ステップで検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる表示制御ステップと、
前記ユーザのリハビリテーション動作が、疾患増悪をきたすリスクがあるか否か判定する評価ステップと、
を備え、
前記表示制御ステップは、ユーザ個々の動作レベルに応じて、転倒または疾患増悪のリスクのある所には、前記目標オブジェクトを表示させないリハビリテーション支援方法。
【請求項9】
ユーザのリハビリテ-ションを支援するプログラムであって、
ヘッドマウントディスプレイを装着した前記ユーザの頭の向きを検出する検出ステップと、
前記ユーザの周囲の実空間における床面または壁面の位置を検知する検知ステップと、
前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に生成し、前記検出ステップで検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる表示制御ステップと、
前記ユーザのリハビリテーション動作が、疾患増悪をきたすリスクがあるか否か判定する評価ステップと、
を備え、
前記表示制御ステップは、ユーザ個々の動作レベルに応じて、転倒または疾患増悪のリスクのある所には、前記目標オブジェクトを表示させないリハビリテーション支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、リハビリテーション支援装置、その方法およびプログラムに関する。
【背景技術】
【0002】
上記技術分野において、特許文献1にはリハビリテーションを支援するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2015-228957号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記文献に記載の技術では、リハビリテーション中のユーザに危険が及ぶことを回避することができなかった。ヘッドマウントディスプレイを装着すると周りが見えないため、例えば実空間中の物体に衝突すると、身構えることができずに、捻挫など、ユーザが怪我をしてしまう可能性が高かった。
【0005】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明にあっては、
ユーザのリハビリテ-ションを支援する装置であって、
ヘッドマウントディスプレイを装着した前記ユーザの頭の向きを検出する検出部と、
前記ユーザの周囲の実空間における床面または壁面の位置を検知する第1検知部と、
前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に生成し、前記検出部で検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる表示制御部と、
を備え、
前記表示制御部は、ユーザ個々の動作レベルに応じて、転倒または疾患増悪のリスクのある所には、前記目標オブジェクトを表示させない
【発明の効果】
【0007】
本発明によれば、リハビリテーション中のユーザまたはその周囲に危険が及ぶことを回避できる。
【図面の簡単な説明】
【0008】
図1】本発明の第1実施形態に係るリハビリテーション支援装置の構成を示す図である。
図2】本発明の第2実施形態に係るリハビリテーション支援装置の構成を示す図である。
図3A】本発明の第2実施形態に係るリハビリテーション支援装置の表示制御例を示す図である。
図3B】本発明の第2実施形態に係るリハビリテーション支援装置の処理の流れを示すフローチャートである。
図4】本発明の第3実施形態に係るリハビリテーション支援装置の構成を示す図である。
図5】本発明の第4実施形態に係るリハビリテーション支援装置の構成を示す図である。
【発明を実施するための形態】
【0009】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【0010】
[第1実施形態]
本発明の第1実施形態としてのリハビリテーション支援装置100について、図1を用いて説明する。リハビリテーション支援装置100は、ユーザ130のリハビリテーションを支援し、評価する装置である。
【0011】
図1に示すように、リハビリテーション支援装置100は、検出部101と表示制御部102とを含む。
【0012】
検出部101は、ヘッドマウントディスプレイ120を装着したユーザ130の頭の向きを検出する。
【0013】
表示制御部102は、ユーザ130に視認させるリハビリテーション用の目標オブジェクト140を仮想空間150内に生成し、検出部101で検出したユーザ130の頭の向きに応じて、ヘッドマウントディスプレイ120に表示させる。
【0014】
表示制御部102は、さらに、ユーザ130が実空間中の物体(例えば床160や壁170)と干渉する危険を回避するため、ヘッドマウントディスプレイ120の表示を制御する。
【0015】
例えば、仮想空間150内で落下するオブジェクト140を、ユーザ130がコントローラ134、135で触ることにより、ユーザ130のリハビリテーション動作を実現するシステムを考える。この場合、例えば、床上20cmで、オブジェクト140を消すようなプログラムにすることにより、ユーザがコントローラや手を床160にぶつけることを防止できる。もちろん20cmという数字は例示に過ぎず、25cmでも30cmでもよい。
【0016】
ユーザ130やその周囲が危険を回避するための表示制御も、「オブジェクトを所定範囲で消す」という制御に限定されず、他の様々な方法が考えられるため、本発明は、その制御に限定されるものではない。床上20cmで目標オブジェクトが消えるので、床にコントローラをぶつけてけがをしたり、前のめりになって転倒したりする危険を防止できる。
【0017】
[第2実施形態]
本発明の第2実施形態に係るリハビリテーション支援システム200について、図2を用いて説明する。図2は、本実施形態に係るリハビリテーション支援システム200の構成を説明するための図である。
【0018】
図2に示すように、リハビリテーション支援システム200は、リハビリテーション支援装置210と、2つのベースステーション231、232と、ヘッドマウントディスプレイ233と、2つのコントローラ234、235とを備える。ユーザ220は、椅子221に座りながら、ヘッドマウントディスプレイ233の表示に合わせて、上半身を傾けたり、ねじったり、手を様々な方向に伸ばしたりすることでリハビリテーション動作を行なう。本実施形態では、椅子に座って行なうリハビリテーションを前提に説明するが、本発明はこれに限定されるものではなく、立って行なっても、歩きながらや走りながら行っても、ベッドや布団等に寝ながら行なってもよい。さらに、何らかの機具を使用する等して特定の姿勢や状態を保持しながら行っても、あるいはトレッドミルやその他の歩行支援装置を用いてあらゆる角度や傾斜状態で定常位置を保持しつつ歩きながら、または走りながら行ってもよい。
【0019】
2つのベースステーション231、232は、ヘッドマウントディスプレイ233の位置や動きおよびコントローラ234、235の位置や動きを検知して、リハビリテーション支援装置210に送る。リハビリテーション支援装置210は、ヘッドマウントディスプレイ233の位置や動きおよびコントローラ234、235の位置や動きに基づいて、ユーザ220のリハビリテーション動作を評価しつつ、ヘッドマウントディスプレイ233の表示制御を行なう。ヘッドマウントディスプレイ233は、非透過タイプでも、ビデオシースルータイプでも、オプティカルシースルータイプでもよい。ヘッドマウントディスプレイ233には、ヘッドフォンスピーカ236が付属しており、リハビリテーション支援装置210は、ユーザ220のリハビリテーション動作の評価結果に応じた音声を、ヘッドフォンスピーカ236から出力する。なお、音声出力の方法はヘッドフォンスピーカに限定されず、外部音声出力装置や骨伝導イヤホン等を用いてもよい。
【0020】
本実施形態では、ユーザ220の動作を検出するためのセンサの一例として、ユーザ220が手に持つコントローラ234、235や、ベースステーション231、232を示しているが、本発明はこれに限定されるものではない。画像処理によりユーザの手の位置を検出するためのカメラ(深度センサを含む)、温度によりユーザの手の位置を検出するためのセンサ、ユーザの腕に装着させる腕時計型のウェアラブル端末などや、モーションキャプチャなどが、動作検出部に含まれてもよい。
【0021】
リハビリテーション支援装置210は、動作検出部211と表示制御部212と障害物検知部213と評価部214と更新部215とタスクセットデータベース216とフィードバック部217とを備える。
【0022】
動作検出部211は、ユーザ220が手に持つコントローラ234、235の位置をベースステーション231、232を介して取得し、ユーザ220の手の位置の変化によりユーザ220のリハビリテーション動作を検出する。
【0023】
障害物検知部213は、ユーザ220にとってリハビリテーション動作の障害となる物体を検知する。例えば、障害物検知部213は、ユーザの周囲の実空間における障害物である床面260および壁面270の少なくともいずれか一方の位置を検知する。障害物検知部213が検知する障害物は、ユーザ220の周囲にある物体であれば、静的物体、動的物体にかかわらずどんなものでもよい。すなわち、床面260および壁面270に限定されず、人、ペット、机、ドア、その他の家電製品や動物、植物、昆虫、カーテン、あるいは水蒸気や水滴、氷、炎などでもよい。
【0024】
表示制御部212は、検出したリハビリテーション動作に応じて動くアバターオブジェクト241と、リハビリテーション動作の目標を示す目標オブジェクト242と、を仮想空間内に生成する。仮想空間内には、他のオブジェクト(背景オブジェクトなど)が含まれていてもよい。表示制御部212は、アバターオブジェクト241および目標オブジェクト242の画像を、動作検出部211が検出したヘッドマウントディスプレイ233の向きおよび位置に応じて、表示画面240に表示させる。
【0025】
アバターオブジェクト241および目標オブジェクト242の画像は、背景画像に重畳表示される。ここでは、アバターオブジェクト241は、コントローラ234、235と同じ形状をしているがこれに限定されるものではなく、人間の手の形をした画像でも、その他の体の一部を表現する画像でも、あるいはなんらかの道具の形をした画像等でもよい。アバターオブジェクト241は、コントローラ234、235の動きに合わせて表示画面240内を動く。コントローラ234、235にはボタンが設けられており、各種設定操作など可能に構成されている。
【0026】
表示制御部212は、目標オブジェクト242を、表示位置および大きさを徐々に変えつつ、表示画面240中で動かす。例えば、目標オブジェクト242をユーザ220の頭上方向から下方に向けて降下してきているように動かして表示したり、目標オブジェクト242をユーザ220に向かって近づくように動かして表示したりすればよい。目標オブジェクト242の移動方向は、上下方向に限定されず、左右方向や、斜め方向であってもよい。なお、ここでは、目標オブジェクト242が動く例を説明したが、本発明はこれに限定されるものではなく、静止した目標オブジェクト242を表示してもよい。
【0027】
ユーザ220は、コントローラ234、235を動かして、画面中のアバターオブジェクト241を、目標オブジェクト242に近づける。アバターオブジェクト241が目標オブジェクト242にぶつかると、表示制御部212は目標オブジェクト242を消滅させる。このとき、フィードバック部217は、目標動作が達成されたとして、メッセージを表示すると同時にヘッドフォンスピーカ236から音声を出力し、コントローラーを振動させる。
【0028】
評価部214は、動作検出部211が検出したリハビリテーション動作と、表示制御部212によって表示された目標オブジェクトが表わす目標位置とを比較して、ユーザ220のリハビリテーション能力を評価する。具体的には、動作検出部211が検出したリハビリテーション動作に対応して移動するアバターオブジェクト241と目標オブジェクト242との3次元仮想空間中の位置を比較することにより評価する。言い換えれば評価部214は、アバターオブジェクト241に含まれるセンサオブジェクト(例えば、アバターオブジェクト241の中心)と目標オブジェクト242との距離がどこまで縮まったかによってリハビリテーション動作の評価を変える。例えば、センサオブジェクトが目標オブジェクト242の中心に接触すれば、高評価を与え、センサオブジェクトが目標オブジェクト242の中心の周囲部分のみに接触し、中心に接触しなかった場合には低評価を与える。センサオブジェクトが目標オブジェクト242のどこにも接触しなければ評価なしとする。評価部214によるこれらの評価は、フィードバック部217のフィードバックと連動して行なわれる。
【0029】
フィードバック部217は、表示制御部212を介して、メッセージなどのフィードバックを、リハビリテーション動作の評価に応じて変化させる。例えば、センサオブジェクトが目標オブジェクト242の中心に接触すれば、「あっぱれ」と表示し、センサオブジェクトが目標オブジェクト242の中心の周囲部分のみに接触すれば「おみごと」と表示する。フィードバック部217は、目標オブジェクト242に対して仮想的にアバターオブジェクト241で触れたユーザに対して、5感のうち少なくとも2つの感覚を刺激するフィードバックを、目標オブジェクト242に触れたタイミングとほぼ同時に行う。
【0030】
表示制御部212は、目標オブジェクト242を、奥行き方向について異なる位置(例えば3段階の位置)に出現させることができる。評価部214は、それぞれ、異なるポイント(遠いオブジェクトには高いポイント、近いオブジェクトには低いポイント)を付与する。
【0031】
タスクセットデータベース216は、複数のタスクのセットを格納している。タスクとは、ユーザが行なうべき1回のリハビリテーション動作を示す。具体的には、1つのタスクを表わす情報として、どの位置にどのような速度で、どのような大きさの目標オブジェクトを出現させたか、その際、アバターオブジェクトはどのような大きさだったかなどを格納している。
【0032】
具体的には、左右の目標オブジェクト242の大きさ、アバターオブジェクト241(センサオブジェクト)の大きさ、目標オブジェクト242の落下スピード、目標オブジェクトの位置等がタスクの内容となる。さらに詳細に言えば、右と左のそれぞれにおいて、目標オブジェクトの位置を見やすくするための視認用オブジェクトの半径(視認サイズ)、アバターオブジェクト241と反応する目標オブジェクトの半径(評価サイズ)もタスクの内容として設定可能である。つまり、ユーザには半径20cmのボールを見せつつ、そのボールの中央に位置する半径10cmのボールにタッチして初めて「あっぱれ」と評価する。視認サイズが小さければ、ユーザは目標オブジェクトを見つけるのが困難になる。視認サイズを大きくすれば、ユーザは目標オブジェクトを見つけやすくなる。評価サイズを大きくすれば、アバターオブジェクト241のずれの許容量が大きくなり、より位置ずれの許容度が上がる。評価サイズを小さくすれば、アバターオブジェクト241のずれの許容量が小さくなりよりシビアにリハビリテーション動作を評価できる。これらの視認サイズと評価サイズとを一致させることもできる。
【0033】
アバターオブジェクト241のセンササイズ(センサオブジェクトのサイズ)を含むタスクセットDB内のパラメータを左右バラバラに、または各タスクごとにバラバラに設定することもできる。センササイズが大きければ、手の位置が目標オブジェクトから大きくずれていても、タスクを達成したことになるためリハビリテーション動作の難易度は下がる。逆にセンササイズが小さければ、手を目標オブジェクトの中央領域(評価用サイズに依存)に、正確に動かさなければならないため、よりリハビリテーション動作の難易度が上がる。
【0034】
脳梗塞の後遺症による運動障害など、運動能力に左右差がある場合には、アバターオブジェクトのセンササイズを左右で変えることにより、より効果的なリハビリテーションを行なうことができる。
【0035】
タスクセットデータベース216は、上記のような複数のタスクをどのような順番でユーザに提供するかを決めるタスクセットを格納している。例えば、病院毎のテンプレートとしてタスクセットを格納してもよいし、実行したタスクセットの履歴をユーザごとに格納してもよい。リハビリテーション支援装置210は、インターネットを介して他のリハビリテーション支援装置と通信可能に構成されていてもよい。その場合、1つのタスクセットを、同じユーザが複数の場所で実行することもできるし、様々なテンプレートを離れた複数のユーザ同士で共有することもできる。
【0036】
表示制御部212は、タスクセットデータベース216から読出したタスクセットに応じて、表示画面240に目標オブジェクト242を表示させ、アバターオブジェクト241で仮想的に触る動作を要求する。
【0037】
更新部215は、積算されたポイントに応じて、目標課題を更新する。例えば、課題達成率(目標達成数/課題数)などを用いて目標課題を更新してもよい。
【0038】
(危険回避処理)
表示制御部212は、ユーザ220が実空間中の物体である床260や壁面270と干渉する危険を回避するため、ヘッドマウントディスプレイ233の表示を制御する。具体的には、表示制御部212は、床面260または壁面270と衝突する危険を回避するため、目標オブジェクト242を、床面260または壁面270から所定距離以上離れた位置に表示させ、所定距離以内の位置には表示させない。図2の例では、木から目標オブジェクト242であるリンゴが落ちてきて、床面260から所定距離(例えば20cm)の位置になると、アライグマ243がそれをつかみ、それの高さ以下に下がらないように停止させる。アライグマ243は、その後、目標オブジェクト242であるリンゴを、自分の巣に持ち帰る。
【0039】
図3Aは、ユーザ220が実空間中の物体である床260や壁面270と干渉する危険を回避するためのさまざまな表示例を示す。(a)では、目標オブジェクト242が床面260から所定距離(例えば20cm)の位置301で消える例を示している。(b)では、目標オブジェクト242が床面260から所定距離の位置301で止まる例を示している。(c)では、床面260から所定距離の位置301で目標オブジェクト242が上方向に跳ね返る例を示している。(d)では、床面260から所定距離の位置301に水面が表示され、目標オブジェクト242としての木の葉がその水面に浮かぶ例を示している。(e)では、床面260から所定距離の位置301に子供が表示され、目標オブジェクト242としてのシャボン玉がその子供から上方向に浮かびながら動く例を示している。あるいは、目標オブジェクト242としてのシャボン玉が床上20cmで反転して上昇し、ある程度の高さに上れば、消える構成でもよい。その他、モグラたたきのように地面から顔を出したモグラを目標オブジェクトとしてもよい。海から飛び出す魚を目標オブジェクトとしてもよい。発射台から上方に発射されたミサイルを目標オブジェクトとしてもよい。子供が手放して上方に上がっていく風船を目標オブジェクトとしてもよい。この場合、失敗した数だけ、木に引っかかり、上方に行きすぎないように表示制御してもよい。ユーザ周囲の実空間中の壁によって十分にリハビリテーション動作を行えない方向がある場合、その方向に目標オブジェクトを表示させない、または壁までの距離に応じて表示を変更してもよい。
【0040】
図3Bは、リハビリテーション支援装置210による処理の流れを説明するためのフローチャートである。まずステップS301において、ヘッドマウントディスプレイ233を装着したユーザ220の頭の向きを検出する。つぎに、ステップS303においてユーザ220に視認させるリハビリテーション用の目標オブジェクト242を仮想空間内に生成し、ユーザ220の頭の向きに応じて、ヘッドマウントディスプレイ233に表示させる。さらに、ステップS305において、ユーザ220が実空間中の物体である床面260と干渉する危険を回避するため、表示制御部212が表示を制御する。
【0041】
以上、本実施形態によれば、目標オブジェクト242が、床面260から所定距離以下の位置に表示されないため、ユーザ220が床面260にコントローラ234、235をぶつけてけがをしたり、前のめりになって転倒したりする危険を防止できる。すなわち、リハビリテーション中のユーザまたはその周囲に危険が及ぶことを回避できる。
【0042】
[第3実施形態]
次に本発明の第3実施形態に係るリハビリテーション支援装置について、図4を用いて説明する。図4は、本実施形態に係るリハビリテーション支援装置の構成を説明するための図である。本実施形態に係るリハビリテーション支援装置は、上記第2実施形態と比べると、障害物検知部213が検知する動的な障害物の種類、大きさ、動きに応じて、動的に表示を制御する点で異なる。すなわち、人401などが、ユーザ220のそばを通った場合に、表示を制御する点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0043】
実空間の人物401を回避するため、ヘッドマウントディスプレイ233に設けられたカメラ402を利用する。障害物を検知できるのであればカメラ402に限定されず、他の構成(レーダ、超音波センサなど)でもよい。なお、ここでは動的障害物の一例として人物401を例示したが、その他ペットや昆虫等の動物を含んでもよい。また、家電製品等の自立動作型の障害物から、カーテンやドア、机、植物といった、風や外部応力等の外部要因で動き得る一般には静的障害物と分類され得るもの、または水蒸気や水滴、氷、炎等を障害物として検知することも本発明の概念に含まれるものとする。
【0044】
表示制御部212は、カメラ402と障害物検知部213が検知した人物401の方向に目標オブジェクト242を表示しない。つまり、表示制御部212は、障害物検知部213が検知した障害物401と衝突する危険を回避するため、障害物401が存在する方向以外の方向に、目標オブジェクト242を表示させる。
【0045】
また、表示制御部212は、カメラ402と障害物検知部213が検知した人物401の方向に障害物オブジェクトとしての壁403を表示させて、ユーザが手を伸ばそうと思わないようにする。障害物オブジェクトとしては、壁に限定されず、木や人の画像にしてもよい。さらに、手を伸ばすことを禁止する禁止通知画像(言葉や記号でのメッセージ)を表示させてもよいし、危険を通知するために目標オブジェクトの色を例えば赤色に変更したり、目標オブジェクトを爆弾等の別のものに変更してもよい。または、これらの表示制御に加えて音声や振動刺激等による触覚刺激を用いた危険通知を組み合わせてもよい。
【0046】
また、表示制御部212は、障害物検知部213が検知した障害物401と衝突する危険を回避するため、障害物401を検知した場合に、目標オブジェクト242の表示を中止させてもよい。または、ヘッドマウントディスプレイに表示される画面を一時的に停止させても、ブラックアウトのように画面表示自体を中止させても、さらには、目標オブジェクトを表示させたままその動きを停止させてもよい。
【0047】
障害物検知部213が障害物を検知した場合に、カメラ402で撮像した実空間画像をそのままヘッドマウントディスプレイ233に表示してもよい。
【0048】
ヘッドマウントディスプレイ233がオプティカルシースルータイプであれば、障害物検知部213が障害物を検知した場合に、ヘッドマウントディスプレイ233の透過度を変えて、実際の障害物401が見えるように制御してもよい。つまり、仮想現実技術VRから拡張現実技術AR、または混合現実技術MRへの切替えを行なってもよい。
【0049】
本実施形態では、障害物検知部213は、ヘッドマウントディスプレイ233のカメラ402を利用したが、これに限定されず、他の外部カメラや外部センサを利用してもよい。
【0050】
タスクセットデータベース216に、障害物オブジェクトのデータとして、壁画像などの特殊画像をあらかじめ用意しておくことが望ましい。
【0051】
障害物検知部213は、既存のパターンマッチング技術を利用した物体認識を行なってもよく、障害物の種類に応じた画像を表示してもよい。その場合、タスクセットデータベース216には、障害物の種類(大人、子供、ペットなど)に対応して、それぞれ表示させる障害物オブジェクト(壁、木、岩など)が記憶される。
【0052】
[第4実施形態]
次に本発明の第4実施形態に係るリハビリテーション支援装置について、図5を用いて説明する。図5は、本実施形態に係るリハビリテーション支援装置510の構成を説明するための図である。本実施形態に係るリハビリテーション支援装置510は、上記第2実施形態と比べると、キャリブレーション部501およびレベル評価部502を有する点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0053】
キャリブレーション部501は、リハビリテーションの前にユーザの動作レベルを事前評価する。表示制御部212は、キャリブレーション部501の評価結果に基づいて、目標オブジェクトの生成位置を決定する。具体的には、ユーザ個々の動作レベルに応じて、転倒や疾患増悪等のリスクのある所には、目標動作を出現させない。
【0054】
レベル評価部502は、リハビリテーション中にユーザの動作レベルを評価する。表示制御部212は、同様にレベル評価部502の評価結果に基づいて、目標オブジェクトの生成位置を決定すればよい。
【0055】
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。
【0056】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の技術的範囲に含まれる。
図1
図2
図3A
図3B
図4
図5