IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 学校法人北里研究所の特許一覧

<>
  • 特許-リハビリテーション支援システム 図1
  • 特許-リハビリテーション支援システム 図2
  • 特許-リハビリテーション支援システム 図3
  • 特許-リハビリテーション支援システム 図4
  • 特許-リハビリテーション支援システム 図5
  • 特許-リハビリテーション支援システム 図6
  • 特許-リハビリテーション支援システム 図7
  • 特許-リハビリテーション支援システム 図8
  • 特許-リハビリテーション支援システム 図9
  • 特許-リハビリテーション支援システム 図10
  • 特許-リハビリテーション支援システム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-28
(45)【発行日】2024-03-07
(54)【発明の名称】リハビリテーション支援システム
(51)【国際特許分類】
   A63B 23/12 20060101AFI20240229BHJP
   A61H 1/02 20060101ALI20240229BHJP
   G16H 40/40 20180101ALI20240229BHJP
【FI】
A63B23/12
A61H1/02 K
G16H40/40
【請求項の数】 6
(21)【出願番号】P 2019090908
(22)【出願日】2019-05-13
(65)【公開番号】P2020185110
(43)【公開日】2020-11-19
【審査請求日】2022-05-12
【新規性喪失の例外の表示】特許法第30条第2項適用 1:ウェブサイトにて掲載、掲載日:平成30年7月19日、URL:http://www.pref.kanagawa.jp/docs/sr4/prs/r3188762.html、掲載日:平成30年10月31日、URL:http://www.pref.kanagawa.jp/docs/sr4/prs/r5426399.html、2:発表会にて発表、発表日:平成30年12月14日、集会名:平成30年度理学療法学専攻卒業研究最終発表会、開催場所:学校法人北里研究所 北里大学 相模原キャンパス医療衛生学部A3号館33講義室、3:展示会にて展示、展示日:平成31年2月6日~8日、展示会名:テクニカルショウヨコハマ2019、主催場所:パシフィコ横浜展示ホール
(73)【特許権者】
【識別番号】598041566
【氏名又は名称】学校法人北里研究所
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(72)【発明者】
【氏名】高平 尚伸
(72)【発明者】
【氏名】佐々木 秀一
(72)【発明者】
【氏名】津田 晃司
(72)【発明者】
【氏名】佐藤 菜月
(72)【発明者】
【氏名】近藤 幸一
(72)【発明者】
【氏名】山下 香苗
(72)【発明者】
【氏名】渡邉 宏
(72)【発明者】
【氏名】香山 帝城
【審査官】柳 重幸
(56)【参考文献】
【文献】特開2006-031433(JP,A)
【文献】特開2018-079308(JP,A)
【文献】特開2018-161529(JP,A)
【文献】特表2007-520313(JP,A)
【文献】特表2009-536535(JP,A)
【文献】佐藤 周平,他1名 ,片麻痺治療支援システムのためのLeap Motionによる手指モーションキャプチャの検討,第77回(平成27年)全国大会 講演論文集(4),一般社団法人情報処理学会,2015年03月17日,4-401,4-402頁
(58)【調査した分野】(Int.Cl.,DB名)
A61H 1/02
A63B 23/12
G09B 1/00- 9/56
17/00-19/26
G16H 40/40
(57)【特許請求の範囲】
【請求項1】
対象者に把持される複数の模擬用品と、
前記対象者に対し、前記模擬用品それぞれを用いた所定の動作を指示する指示手段と、
前記対象者が前記模擬用品それぞれを用いて行った動作が、前記模擬用品、または、前記模擬用品を把持する前記対象者の手に関して設定された判定基準を満たすか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、前記対象者が前記所定の動作を正しく行っているか否かを通知する通知手段と、
前記対象者の手、指及び前記模擬用品等の物体の位置、動きを検知する検知センサと、 前記対象者の手の形、位置、姿勢を検出し、その検出結果を反映したモデルを仮想空間上に配置して映像化する動作読取装置と、
1つの前記模擬用品の内部に設けられる圧力センサと、
を備え
前記圧力センサが設けられた1つの前記模擬用品について、前記判定手段は、前記圧力センサの検知結果に基づいて判定基準を満たすか否かを判定し、
他の前記模擬用品について、前記判定手段は、前記検知センサの検知結果、または、前記動作読取装置の検出結果に基づいて判定基準を満たすか否かを判定するリハビリテーション支援システム。
【請求項2】
前記通知手段は、前記判定手段による判定結果に基づいて、前記模擬用品を用いて行った動作に応じた現象を視覚的または聴覚的に演出する
請求項1に記載のリハビリテーション支援システム。
【請求項3】
前記模擬用品は、タオルであって、内部に前記圧力センサを備え、
前記指示手段は、前記対象者に対し、当該タオルを絞ることを指示し、
前記判定手段は、前記圧力センサによる圧力の検知結果が所定の閾値以上となるか否かを判定基準とする
請求項1または請求項2に記載のリハビリテーション支援システム。
【請求項4】
前記模擬用品は、鍵であって、
前記指示手段は、前記鍵を所定の差し込み方向における所定位置に合わせるとともに、前記鍵を回すことを指示し、
前記判定手段は、当該鍵を把持する手が前記差し込み方向周りに所定量以上回転したか否かを判定基準とする
請求項1から請求項3のいずれか一項に記載のリハビリテーション支援システム。
【請求項5】
前記模擬用品は、コップであって、
前記指示手段は、前記コップを所定位置に配置することを指示し、
前記判定手段は、前記所定位置において所定時間、物体の存在が検知されることを判定基準とする
請求項1から請求項4のいずれか一項に記載のリハビリテーション支援システム。
【請求項6】
前記模擬用品は、台拭きであって、
前記指示手段は、ワイプ動作をさせるワイプ動作範囲を画像表示し、
前記判定手段は、前記ワイプ動作範囲の複数個所において前記対象者の手の存在が検知されることを判定基準とする
請求項1から請求項5のいずれか一項に記載のリハビリテーション支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、リハビリテーション支援システムに関する。
【背景技術】
【0002】
プロジェクタなどの画像投影装置からリハビリテーションを支援する画像を表示させるリハビリテーション支援システムが考えられている(例えば、特許文献1を参照)。このリハビリテーション支援システムは、投影画像に目標位置を表示させ、対象者に合わせて手足を動かすことで身体機能の改善、機能訓練などを促す。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-161529号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術は、「コップを置く」、「台拭きで机を拭く」、「鍵を持って開錠する」、「タオルを絞る」などの、日常でよく用いられる道具を使った動作のリハビリテーション訓練について必ずしも最適化されているとはいえない。
【0005】
本発明は、このような課題に鑑みてなされたものであって、日常生活で求められる道具を使った動作のリハビリテーション訓練を適切に行うことができるリハビリテーション支援システムを提供する。
【課題を解決するための手段】
【0006】
本発明の第1の態様によれば、リハビリテーション支援システムは、対象者に把持される模擬用品と、前記対象者に対し、前記模擬用品を用いた所定の動作を指示する指示手段と、前記対象者が前記模擬用品を用いて行った動作が、前記模擬用品、または、前記模擬用品を把持する前記対象者の手に関して設定された判定基準を満たすか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、前記対象者が前記所定の動作を正しく行っているか否かを通知する通知手段と、を備える。
【0007】
本発明の第2の態様によれば、第1の態様に係るリハビリテーション支援システムにおいて、前記通知手段は、前記判定手段による判定結果に基づいて、前記模擬用品を用いて行った動作に応じた現象を視覚的または聴覚的に演出する。
【0008】
本発明の第3の態様によれば、第1または第2の態様に係るリハビリテーション支援システムにおいて、前記模擬用品は、タオルであって、内部に圧力センサを備え、前記指示手段は、前記対象者に対し、当該タオルを絞ることを指示し、前記判定手段は、前記圧力センサによる圧力の検知結果が所定の閾値以上となるか否かを判定基準とする。
【0009】
本発明の第4の態様によれば、第1から第3のいずれか一の態様に係るリハビリテーション支援システムにおいて、前記模擬用品は、鍵であって、前記指示手段は、前記鍵を所定の差し込み方向における所定位置に合わせるとともに、前記鍵を回すことを指示し、記判定手段は、当該鍵を把持する手が前記差し込み方向周りに所定量以上回転したか否かを判定基準とする。
【0010】
本発明の第5の態様によれば、第1から第4のいずれか一の態様に係るリハビリテーション支援システムにおいて、前記模擬用品は、コップであって、前記指示手段は、前記コップを所定位置に配置することを指示し、前記判定手段は、前記所定位置において所定時間、物体の存在が検知されることを判定基準とする。
【0011】
本発明の第6の態様によれば、第1から第5のいずれか一の態様に係るリハビリテーション支援システムにおいて、前記模擬用品は、台拭きであって、前記指示手段は、ワイプ動作をさせるワイプ動作範囲を画像表示し、前記判定手段は、前記ワイプ動作範囲の複数個所において前記対象者の手の存在が検知されることを判定基準とする。
【発明の効果】
【0012】
本発明に係るリハビリテーション支援システムによれば、日常生活で求められる道具を使った動作のリハビリテーション訓練を適切に行うことができる。
【図面の簡単な説明】
【0013】
図1】本発明の一実施形態に係るリハビリテーション支援システムの全体構成を示す図である。
図2】本発明の一実施形態に係る制御装置の機能構成を示すブロック図である。
図3】本発明の一実施形態に係る制御装置の処理の一例を示すフローチャートである。
図4】本発明の一実施形態に係る机拭きアプリケーションの処理の一例を示すフローチャートである。
図5】本発明の一実施形態に係る机拭きアプリケーションの機能を説明するための図である。
図6】本発明の一実施形態に係る鍵回しアプリケーションの処理の一例を示すフローチャートである。
図7】本発明の一実施形態に係るコップアプリケーションの処理の一例を示すフローチャートである。
図8】本発明の一実施形態に係るコップアプリケーションの機能を説明するための図である。
図9】本発明の一実施形態に係るタオルアプリケーションの処理の一例を示すフローチャートである。
図10】本発明の一実施形態に係る文字入力アプリケーションの処理の一例を示すフローチャートである。
図11】本発明の一実施形態に係る文字入力アプリケーションの機能を説明するための図である。
【発明を実施するための形態】
【0014】
以下、本発明の第1の実施形態に係るリハビリテーション支援システム1について、図1図11を参照しながら説明する。
【0015】
(リハビリテーション支援システムの全体構成)
図1は、本発明の一実施形態に係るリハビリテーション支援システムの全体構成を示す図である。
図1に示すように、リハビリテーション支援システム1は、制御装置10と、投影装置11と、モニタ12と、動作読取装置13と、ロボット14、圧力センサ15と、機器間通信装置16とを備える。
【0016】
制御装置10は、投影装置11に内蔵され、リハビリテーション支援システム1の動作全体の制御を司る。制御装置10が有する機能については後述する。なお、制御装置10は、本実施形態における判定手段の一態様である。
【0017】
投影装置11は、投影画像Pを作業面T上に投影する投影部11aと、物体(対象者の手、指、模擬用品等)の位置、動きを検知する検知センサ11bとを有する。なお、投影装置11は、本実施形態における指示手段、及び、通知手段の一態様である。
【0018】
モニタ12は、訓練に関する動作の指示や各種演出映像を表示する。なお、モニタ12は、本実施形態における指示手段、及び、通知手段の一態様である。
【0019】
動作読取装置13は、本体の上方に位置する手の形、位置、姿勢を検出し、その検出結果(手の形、位置、姿勢)を反映したモデルを仮想空間上に配置して映像化する。
【0020】
ロボット14は、対象者に対し、訓練の説明や訓練の結果に応じた演出(発話、首振り動作、発光演出など)を行う。なお、ロボット14は、本実施形態における指示手段、及び、通知手段の一態様である。
【0021】
圧力センサ15は、模擬用品Qの一つであるタオルQ4の内部に設けられる。対象者がタオルQ4を絞る動作をする際に、その絞りの強さの度合いを電気信号によって検出可能とする。
【0022】
機器間通信装置16は、上述した制御装置10(投影装置11)、モニタ12、動作読取装置13、ロボット14及び圧力センサ15の相互通信を可能とする通信インタフェースである。なお、図1には、機器間通信装置16がケーブルを介して各機器間の有線通信を実現する例が示されているが、これに限られることはない。他の実施形態では、機器間通信装置16は、無線通信技術を利用して各機器間の無線通信を実現する態様であってもよい。
【0023】
模擬用品Qは、それぞれ、コップQ1、鍵Q2、台拭きQ3、タオルQ4である。それぞれ、対象者のリハビリ訓練に用いる。
【0024】
(制御装置の機能構成)
図2は、本発明の一実施形態に係る制御装置の機能構成を示すブロック図である。
図2に示すように、制御装置10は、CPU100と、接続インタフェース101と、メモリ102と、記録媒体103とを備えている。
【0025】
CPU100は、所定のプログラムに従って動作することで、メインアプリケーション1001、机拭きアプリケーション1002、鍵回しアプリケーション1003、コップアプリケーション1004、タオルアプリケーション1005、文字入力アプリケーション1006としての各種機能を発揮する。
【0026】
接続インタフェース101は、機器間通信装置16を介した他の機器との情報のやり取り(モニタ12に対する表示要求、動作読取装置13による指位置検出の要求、ロボット14への演出要求など)を行うためのインタフェースである。
【0027】
メモリ102は、いわゆる主記憶装置であって、CPU100がプログラムに基づいて動作するための命令及びデータが展開される。
【0028】
記録媒体103は、いわゆる補助記憶装置であって、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)等であってよい。記録媒体103には、例えば、ユーザ情報(対象者の訓練履歴情報)などが記録される。
【0029】
メインアプリケーション1001は、訓練を行うゲーム全体の制御を司るアプリケーションである。メインアプリケーション1001は、ユーザ(対象者)による入力情報に基づいて、後述する各訓練用のアプリケーションを選択して実行する。
【0030】
CPU100は、訓練用のアプリケーションとして、机拭きアプリケーション1002、鍵回しアプリケーション1003、コップアプリケーション1004、タオルアプリケーション1005、及び、文字入力アプリケーション1006を有する。
【0031】
机拭きアプリケーション1002は、台拭きQ3を用いて行うワイプ動作訓練を行うためのアプリケーションである。
【0032】
鍵回しアプリケーション1003は、鍵Q2を用いて行う鍵回し動作訓練を行うためのアプリケーションである。
【0033】
コップアプリケーション1004は、コップQ1を用いて行うコップ配置動作訓練を行うためのアプリケーションである。
【0034】
タオルアプリケーション1005は、タオルQ4を用いて行うタオル絞り動作訓練を行うためのアプリケーションである。
【0035】
文字入力アプリケーション1006は、投影画像Pに表示されたキーボードへのタイプ訓練を行うためのアプリケーションである。
【0036】
(制御装置の処理フロー)
図3は、本発明の一実施形態に係る制御装置の処理の一例を示すフローチャートである。
以下、図3を参照しながら、制御装置10の処理の一例について詳細に説明する。
【0037】
リハビリテーション支援システム1の各機器(制御装置10、投影装置11、モニタ12、動作読取装置13、ロボット14、及び、機器間通信装置16)の電源がオンされると、制御装置10は、図3に示すようにメインアプリケーション1001を起動する(ステップS10)。
【0038】
次に、メインアプリケーション1001は、投影装置11に設定画面を表示させる(ステップS11)。そうすると、投影装置11の投影部11aは、設定画面を含む投影画像Pを作業面T上に投影する。
設定画面は、ユーザ情報及び訓練内容の入力を受け付けるための画面である。ユーザ情報は、リハビリテーション訓練を実施するユーザ(対象者)を特定可能な識別情報(ユーザ番号、氏名等)である。訓練内容は、「机拭き(ワイプ)動作訓練」、「鍵回し動作訓練」、「コップ配置動作訓練」、「タオル絞り動作訓練」、及び、「文字入力(タイプ)訓練」のそれぞれを実施する順番、回数(セット数)、レベル(難易度)、訓練対象となる手(右手または左手)等の情報を含む。
なお、このとき、メインアプリケーション1001は、モニタ12に対し、設定画面に入力する内容、入力方法等を指示する説明情報を表示するように要求してもよい。また、メインアプリケーション1001は、ロボット14に対し、同様の説明情報を音声で出力するように要求してもよい。
【0039】
次に、メインアプリケーション1001は、設定画面に対するユーザの入力操作を受け付ける(ステップS12)。このとき、投影装置11の検知センサ11bは、ユーザの手(指)の位置等を検出して、制御装置10に検知信号を送信する。そうすると、メインアプリケーション1001は、この検知信号に基づいて、ユーザが入力したユーザ情報及び訓練内容を取得して、これらの情報を記録媒体103に記録する(ステップS13)。
【0040】
次に、メインアプリケーション1001は、取得した訓練内容に基づいて、訓練アプリケーション(机拭きアプリケーション1002、鍵回しアプリケーション1003、コップアプリケーション1004、タオルアプリケーション1005、及び、文字入力アプリケーション1006のうち何れか)に訓練に係る処理を実行させる(ステップS14)。なお、各訓練アプリケーションにおける処理の詳細については、後述する。
【0041】
また、訓練アプリケーションの処理が終了すると、メインアプリケーション1001は、訓練内容に指定された全ての訓練が終了したか否かを判断する(ステップS15)。
メインアプリケーション1001は、まだ終了していない訓練がある場合(ステップS15:NO)、ステップS14に戻り、訓練内容で指定された次の訓練に関連する訓練アプリケーションを起動する。
一方、メインアプリケーション1001は、訓練内容で指定された全ての訓練が終了した場合(ステップS15:YES)、ユーザの訓練を終了する。なお、他に訓練を行うユーザがいる場合、メインアプリケーション1001は、ステップS11に戻り、他のユーザの訓練を受け付け可能としてもよい。
【0042】
(机拭きアプリケーションの処理フロー)
図4は、本発明の一実施形態に係る机拭きアプリケーションの処理の一例を示すフローチャートである。
図5は、本発明の一実施形態に係る机拭きアプリケーションの機能を説明するための図である。
訓練内容に次の訓練が「机拭き(ワイプ)動作訓練」であると指定されている場合、メインアプリケーション1001は、図3のステップS14において、訓練に係る一連の処理を机拭きアプリケーション1002に実行させる。そして、メインアプリケーション1001は、机拭きアプリケーション1002の一連の処理が終了すると、図3のステップS15に進む。ここでは、図4図5を参照しながら、ステップS14(図3)における机拭きアプリケーション1002の一連の処理の流れについて詳細に説明する。
【0043】
図4に示すように、メインアプリケーション1001は、机拭きアプリケーション1002を起動する(ステップS100)。
【0044】
次に、机拭きアプリケーション1002は、「机拭き(ワイプ)動作訓練」においてユーザが使用する模擬用品Q、行う動作、制限時間等を指示する指示情報を、モニタ12及びロボット14に出力させる(ステップS101)。
そうすると、モニタ12は、台拭きQ3を使って所定の範囲を拭きとるワイプ動作を、所定の制限時間以内に行うことをユーザに指示する指示情報(画像、文字等)を表示する。更に、ロボット14は、同様の指示情報を音声で出力する。
【0045】
指示情報の出力が完了すると、机拭きアプリケーション1002は、訓練を開始する(ステップS102)。このとき、机拭きアプリケーション1002は、制限時間の残り時間のカウントを開始する。なお、残り時間はモニタ12に表示されてもよい。
【0046】
次に、机拭きアプリケーション1002は、投影装置11にワイプ動作範囲M1を表示させるとともに、全ての「汚れフラグ」をONにする(ステップS103)。
そうすると、投影装置11の投影部11aは、図5に示すように作業面T上にワイプ動作をさせるワイプ動作範囲M1含む投影画像Pを表示する。ワイプ動作範囲M1は、例えば「汚れ」を表す画像(汚れ画像)として表現される。なお、ワイプ動作範囲M1は、訓練内容で指定されたレベルに応じて可変であり、レベル(難易度)が高いほどワイプ動作範囲M1の面積が大きくなる。
汚れフラグは、ユーザがワイプ動作範囲M1内でワイプ動作により汚れを拭きとる動作を行ったか否かを示す。例えば、図5に示すように、ワイプ動作範囲M1には、複数の判断領域R1が含まれている。判断領域R1それぞれに汚れフラグが設定されており、机拭きアプリケーション1002は、ユーザがある判断領域R1においてワイプ動作を行ったことが検出されると、当該判断領域R1の汚れフラグをOFFにする。
なお、判断領域R1は投影画像Pには表示されない。また、判断領域R1の数は、ワイプ動作範囲M1の面積に応じて可変である。
【0047】
次に、机拭きアプリケーション1002は、投影画像P内におけるOnTouchイベントが存在するかを検知する(ステップS104)。OnTouchイベントは、投影画像P上のどの位置にユーザの手、または、台拭きQ3がタッチされたかを検知したことを示す信号である。投影装置11の検知センサ11bは、OnTouchイベントの有無を示す検知信号を制御装置10(机拭きアプリケーション1002)に送信する。机拭きアプリケーション1002は、投影装置11から受信した検知信号に基づいて、OnTouchイベントの存在を検知する。
【0048】
次に、机拭きアプリケーション1002は、残り時間があるか否かを判断する(ステップS105)。
【0049】
残り時間が「0」となった場合(ステップS105:NO)、机拭きアプリケーション1002は、「時間切れ」であることを示す演出情報を投影装置11、モニタ12、及び、ロボット14に出力させる(ステップS106)。
そうすると、投影装置11及びモニタ12は、制限時間内にワイプ動作が完了しなかったことを示す演出表現(画像、文字等の表示)を行う。また、ロボット14は、同様の情報を音声で出力する。この後、机拭きアプリケーション1002はステップS113に進む。
【0050】
一方、残り時間がある場合(ステップS105:YES)、机拭きアプリケーション1002は、いずれか一の判断領域R1(図5)にOnTouchイベントが存在するか否かを判断する(ステップS107)。
【0051】
机拭きアプリケーション1002は、全ての判断領域R1にOnTouchイベントが存在しない場合(ステップS107:NO)、ステップS104に戻り、次のOnTouchイベントを待ち受ける。
【0052】
また、机拭きアプリケーション1002は、いずれかの判断領域R1にOnTouchイベントが存在する場合(ステップS107:YES)、前回OnTouchイベントが検出された判断領域R1(前回検出領域)からユーザの手または台拭きQ3が移動したか否かを判断する(ステップS108)。
【0053】
OnTouchイベントが検出された判断領域R1が、前回検出領域と同一の判断領域R1である場合、机拭きアプリケーション1002はユーザの手または台拭きQ3が移動していない判断する(ステップS108:NO)。この場合、机拭きアプリケーション1002は、ステップS104に戻り、次のOnTouchイベントを待ち受ける。
【0054】
OnTouchイベントが検出された判断領域R1が、前回検出領域と異なる判断領域である場合、机拭きアプリケーション1002はユーザの手または台拭きQ3が新たな判断領域R1に移動したと判断する(ステップS108:YES)。この場合、机拭きアプリケーション1002は、移動後の判断領域R1(今回OnTouchイベントが検出された判断領域R1)の汚れフラグがONであるか否かを判断する(ステップS109)。
【0055】
移動後の判断領域R1の汚れフラグがOFFである場合(ステップS109:NO)、机拭きアプリケーション1002は、この判断領域R1においてワイプ動作を実行済みであると判断し、ステップS104に戻る。
【0056】
一方、移動後の判断領域R1の汚れフラグがONである場合(ステップS109:YES)、机拭きアプリケーション1002は、この判断領域R1においてワイプ動作が初めて実行されたと判断する。この場合、机拭きアプリケーション1002は、ワイプ動作範囲M1のうち当該判断領域R1周辺の「汚れ」画像を消去する演出情報(映像、効果音等)を投影装置11に出力させるとともに、当該判断領域R1の汚れフラグをOFFにする(ステップS110)。そうすると、この演出情報は、投影装置11の投影部11aにより投影画像Pとして作業面T上に投影される。これにより、ユーザの手または台拭きQ3の位置する領域において、汚れを拭きとる動作が適切に実行されたことをユーザに認識させることができる。
【0057】
次に、机拭きアプリケーション1002は、全ての判断領域R1の汚れフラグがOFFになったか否かを判断する(ステップS111)。
【0058】
一つ以上の判断領域R1の汚れフラグがONである場合(ステップS111:NO)、机拭きアプリケーション1002は、まだワイプ動作が実行されていない領域があると判断して、ステップS104に戻る。
【0059】
一方、全ての判断領域R1の汚れフラグがOFFである場合(ステップS111:YES)、机拭きアプリケーション1002は、ワイプ動作範囲M1の全ての領域でワイプ動作が完了したと判断して、ワイプ動作訓練が成功したことを示す演出情報(映像、効果音等)を、投影装置11に出力させる(ステップS112)。そうすると、この演出情報は、投影装置11の投影部11aにより投影画像Pとして作業面T上に投影される。また、机拭きアプリケーション1002は、モニタ12及びロボット14にワイプ動作訓練の成功を示す演出情報(テキスト、画像、音声等)を出力させるようにしてもよい。
【0060】
次に、机拭きアプリケーション1002は、訓練内容で指定されたセット数(回数)分の訓練が終了したか否かを判断する(ステップS113)。全セット終了していない場合、例えば、3セット中の1~2セットまでしか終了していない場合(ステップS113:NO)、机拭きアプリケーション1002はステップS102に戻り、ワイプ動作訓練を再度ユーザに実施させる。また、全セット終了した場合(ステップS113:YES)、机拭きアプリケーション1002は処理を終了する。
【0061】
(鍵回しアプリケーションの処理フロー)
図6は、本発明の一実施形態に係る鍵回しアプリケーションの処理の一例を示すフローチャートである。
訓練内容に次の訓練が「鍵回し動作訓練」であると指定されている場合、メインアプリケーション1001は、図3のステップS14において、訓練に係る処理を鍵回しアプリケーション1003に実行させる。そして、メインアプリケーション1001は、鍵回しアプリケーション1003の一連の処理が終了すると、図3のステップS15に進む。ここでは、図6を参照しながら、ステップS14(図3)における鍵回しアプリケーション1003の一連の処理の流れについて詳細に説明する。
【0062】
図6に示すように、メインアプリケーション1001は、鍵回しアプリケーション1003を起動する(ステップS200)。
【0063】
次に、鍵回しアプリケーション1003は、動作読取装置13にユーザの手のモデルを登録させる(ステップS201)。例えば、鍵回しアプリケーション1003は、ユーザに手を動作読取装置13の上にかざすように指示する指示情報をモニタ12及びロボット14から出力させる。ユーザが自身の手を動作読取装置13の上にかざすと、動作読取装置13は、ユーザの手の形、位置、姿勢を認識して、当該ユーザの手のモデルを作成する。
【0064】
次に、鍵回しアプリケーション1003は、「鍵回し動作訓練」においてユーザが使用する模擬用品Q、行う動作、制限時間等を指示する指示情報を、モニタ12及びロボット14に出力させる(ステップS202)。
そうすると、モニタ12は、鍵Q2を所定の差し込み方向における所定位置(後述の3D空間内の鍵穴)に合わせるとともに、鍵Q2を回す動作を、所定の制限時間以内に行うことをユーザに指示する指示情報(画像、文字等)を表示する。更に、ロボット14は、同様の指示情報を音声で出力する。
【0065】
手のモデルの登録、及び指示情報の出力が完了すると、鍵回しアプリケーション1003は、モニタ12に鍵穴が配置された3D空間の映像を表示させて、訓練を開始する(ステップS203)。このとき、鍵回しアプリケーション1003は、制限時間の残り時間のカウントを開始する。なお、残り時間はモニタ12に表示されてもよい。
【0066】
次に、鍵回しアプリケーション1003は、動作読取装置13を介して3D空間におけるユーザの手の形、位置、姿勢を検知する(ステップS204)。動作読取装置13は、ユーザの手の形、位置、姿勢を認識して、3D空間における手のモデルの形、位置(座標)、姿勢(角度)に変換し、制御装置10(鍵回しアプリケーション1003)に検知信号として送信する処理を逐次行う。鍵回しアプリケーション1003は、動作読取装置13から受信した検知信号に基づいて、ユーザの手及び鍵Q2の3D空間における位置を検知する。
また、動作読取装置13は、手のモデルの形、位置、姿勢を3D空間の映像に重畳してモニタ12に表示させる。これにより、ユーザは、自身の手が3D空間のどの位置にあるかを認識することができる。
【0067】
次に、鍵回しアプリケーション1003は、残り時間があるか否かを判断する(ステップS205)。
【0068】
残り時間が「0」となった場合(ステップS205:NO)、鍵回しアプリケーション1003は、「時間切れ」であることを示す演出情報を投影装置11、モニタ12、及び、ロボット14に出力させる(ステップS206)。
そうすると、投影装置11及びモニタ12は、制限時間内に鍵回し動作が完了しなかったことを示す演出表現(画像、文字等の表示)を行う。また、ロボット14は、同様の情報を音声で出力する。この後、鍵回しアプリケーション1003はステップS214に進む。
【0069】
一方、残り時間がある場合(ステップS205:YES)、鍵回しアプリケーション1003は、3D空間における手のモデルの位置が鍵穴の位置と一致し、且つ、鍵フラグがOFFであるか否かを判断する(ステップS207)。
鍵フラグは、ユーザが3D空間における鍵穴に鍵を挿入したか否かを示す情報であり、ONの場合は鍵穴に鍵が挿入されている状態を示し、OFFの場合は鍵穴に鍵が挿入されていない状態を示す。
【0070】
3D空間における手のモデルの位置が鍵穴の位置と一致し、且つ、鍵フラグがOFFである場合(ステップS207:YES)、鍵回しアプリケーション1003は、ユーザが3D空間において鍵を鍵穴に挿入したと判断する。この場合、鍵回しアプリケーション1003は、モニタ12に鍵が鍵穴に挿入されたことを示す演出情報(映像、効果音等)を出力させるとともに、鍵フラグをONにする(ステップS208)。
【0071】
3D空間における手のモデルの位置が鍵穴の位置と一致しているものの、鍵フラグがONである場合(ステップS207:NO、且つ、ステップS209:YES)、鍵回しアプリケーション1003は、既にユーザが鍵を鍵穴に挿入済みであると判断し、ステップS211に進む。
【0072】
3D空間における手のモデルの位置が鍵穴の位置と一致していない場合(ステップS207:NO、且つ、ステップS209:NO)、鍵回しアプリケーション1003は、3D空間における鍵穴の位置と異なる位置に、手のモデル(鍵)が位置していると判断する。この場合、鍵回しアプリケーション1003は、手(鍵Q2)を鍵穴の位置に移動させるように指示する指示情報をモニタ12及びロボット14に出力させるとともに、鍵フラグをOFFにし(ステップS210)、ステップS204に戻る。
【0073】
次に、鍵回しアプリケーション1003は、ユーザの手(手首)の回転を検出する(ステップS211)。例えば、鍵回しアプリケーション1003は、動作読取装置13から受信した検知信号から、手のモデルの手首に相当する箇所の回転方向及び角度を検出する。
【0074】
次に、鍵回しアプリケーション1003は、ユーザが鍵Q2を把持した状態で、差し込み方向回りに所定量以上、手首を回したか否かを判断する(ステップS212)。
具体的には、鍵回しアプリケーション1003は、ユーザが手首を所定回数、設定角度以上回す動作を行った否かを判断する。
設定角度は、訓練内容に指定されたレベルに応じて可変であり、レベル(難易度)が高いほど大きい角度が設定される。例えば、レベル1(難易度:低)では20度、レベル2(難易度:中)では60度、レベル3(難易度:高)では90度に設定される。また、手首を回す回数は、例えば3回に設定される。なお、この回数は任意に変更可能であり、メインアプリケーション1001は、設定画面において回数を指定し、訓練内容に含めるようにしてもよい。
【0075】
ユーザが所定量以上手首を回していないと判断された場合(ステップS212:NO)、鍵回しアプリケーション1003はステップS204に戻る。
【0076】
一方、ユーザが所定量以上手首を回したと判断された場合(ステップS212:YES)、鍵回しアプリケーション1003は、ユーザが適切に鍵回し動作を行ったと判断して、鍵回し動作訓練が成功したことを示す演出情報(テキスト、画像、効果音等)を、モニタ12に出力させる(ステップS213)。また、鍵回しアプリケーション1003は、投影装置11及びロボット14にワイプ動作訓練の成功を示す演出情報(映像、音声等)を出力させるようにしてもよい。
【0077】
次に鍵回しアプリケーション1003は、訓練内容で指定されたセット数(回数)分の訓練が終了したか否かを判断する(ステップS214)。全セット終了していない場合(ステップS214:NO)、鍵回しアプリケーション1003はステップS203に戻り、鍵回し動作訓練を再度ユーザに実施させる。また、全セット終了した場合(ステップS214:YES)、鍵回しアプリケーション1003は処理を終了する。
【0078】
(コップアプリケーションの処理フロー)
図7は、本発明の一実施形態に係るコップアプリケーションの処理の一例を示すフローチャートである。
図8は、本発明の一実施形態に係るコップアプリケーションの機能を説明するための図である。
訓練内容に次の訓練が「コップ配置動作訓練」であると指定されている場合、メインアプリケーション1001は、図3のステップS14において、訓練に係る一連の処理をコップアプリケーション1004に実行させる。そして、メインアプリケーション1001は、コップアプリケーション1004の一連の処理が終了すると、図3のステップS15に進む。ここでは、図7図8を参照しながら、ステップS14(図3)におけるコップアプリケーション1004の一連の処理の流れについて詳細に説明する。
【0079】
図7に示すように、メインアプリケーション1001は、コップアプリケーション1004を起動する(ステップS300)。
【0080】
次に、コップアプリケーション1004は、「コップ配置動作訓練」においてユーザが使用する模擬用品Q、行う動作、制限時間等を指示する指示情報を、モニタ12及びロボット14に出力させる(ステップS301)。
そうすると、モニタ12は、コップQ1を所定位置に配置する動作を、所定の制限時間以内に行うことをユーザに指示する指示情報(画像、文字等)を表示する。また、ロボット14は、同様の指示情報を音声で出力する。
【0081】
指示情報の出力が完了すると、コップアプリケーション1004は、訓練を開始する(ステップS302)。このとき、コップアプリケーション1004は、制限時間の残り時間のカウントを開始する。なお、残り時間はモニタ12に表示されてもよい。
【0082】
次に、コップアプリケーション1004は、コップを配置する位置を示すコップ配置範囲M2(図8)を投影装置11に表示させる(ステップS303)。そうすると、投影装置11の投影部11aは、図8に示すように作業面T上にコップQ1を配置する位置を示すコップ配置範囲M2を含む投影画像Pを表示する。なお、コップ配置範囲M2は、訓練内容で指定されたレベルに応じて可変であり、レベル(難易度)が高いほどコップ配置範囲M2はユーザから遠い位置に設定される。また、コップ配置動作訓練を複数セット行う場合、コップアプリケーション1004は、セットごとにコップ配置範囲M2の位置を変更してもよい。
【0083】
次に、コップアプリケーション1004は、投影画像P内におけるOnTouchイベントが存在するかを検知する(ステップS304)。OnTouchイベントは、投影画像P上のどの位置にコップQ1が置かれたかを検知したことを示す信号である。投影装置11の検知センサ11bは、OnTouchイベントの有無を示す検知信号を制御装置10(コップアプリケーション1004)に送信する。コップアプリケーション1004は、投影装置11から受信した検知信号に基づいて、OnTouchイベントの存在を検知する。
【0084】
次に、コップアプリケーション1004は、残り時間があるか否かを判断する(ステップS305)。
【0085】
残り時間が「0」となった場合(ステップS305:NO)、コップアプリケーション1004は、「時間切れ」であることを示す演出情報を投影装置11、モニタ12、及び、ロボット14に出力させる(ステップS306)。
そうすると、投影装置11及びモニタ12は、制限時間内にコップ配置動作が完了しなかったことを示す演出表現(画像、文字等の表示)を行う。また、ロボット14は、同様の情報を音声で出力する。この後、コップアプリケーション1004はステップS310に進む。
【0086】
一方、残り時間がある場合(ステップS305:YES)、コップアプリケーション1004は、コップ配置範囲M2の全ての判断領域R2(図9)に、所定時間以上、OnTouchイベントが継続して存在するか否かを判断する(ステップS307)。
図9に示すように、判断領域R2は、コップ配置範囲M2の外縁上の投影装置11側に、複数個所(例えば、3箇所)設定される。コップアプリケーション1004は、全ての判断領域R2にコップQ1が置かれたことを示すOnTouchイベントが、所定時間以上(例えば、3秒以上)、継続して存在する場合、コップQ1がコップ配置範囲M2内に配置されたと判断する。
【0087】
複数の判断領域R2のうち一つ以上においてOnTouchイベントが存在していない場合(ステップS307:NO)、コップアプリケーション1004は、コップQ1がコップ配置範囲M2内に正しく配置されていないと判断する。この場合、コップアプリケーション1004は、コップQ1をコップ配置範囲M2内に移動させるように指示する指示情報をモニタ12及びロボット14に出力させ(ステップS308)、ステップS304に戻る。
【0088】
一方、複数の判断領域R2の全てにおいてOnTouchイベントが存在している場合(ステップS307:YES)、コップアプリケーション1004は、コップ配置動作が完了したと判断して、コップ配置動作訓練が成功したことを示す演出情報(映像、効果音等)を、投影装置11に出力させる(ステップS309)。そうすると、この演出情報は、投影装置11の投影部11aにより投影画像Pとして作業面T上に投影される。また、机拭きアプリケーション1002は、モニタ12及びロボット14にワイプ動作訓練の成功を示す演出情報(テキスト、画像、音声等)を出力させるようにしてもよい。
【0089】
次にコップアプリケーション1004は、訓練内容で指定されたセット数(回数)分の訓練が終了したか否かを判断する(ステップS310)。全セット終了していない場合(ステップS310:NO)、机拭きアプリケーション1002はステップS302に戻り、コップ配置動作訓練を再度ユーザに実施させる。また、全セット終了した場合(ステップS310:YES)、コップアプリケーション1004は処理を終了する。
【0090】
(タオルアプリケーションの処理フロー)
図9は、本発明の一実施形態に係るタオルアプリケーションの処理の一例を示すフローチャートである。
訓練内容に次の訓練が「タオル絞り動作訓練」であると指定されている場合、メインアプリケーション1001は、図3のステップS14において、訓練に係る一連の処理をタオルアプリケーション1005に実行させる。そして、メインアプリケーション1001は、タオルアプリケーション1005の一連の処理が終了すると、図3のステップS15に進む。ここでは、図9を参照しながら、ステップS14(図3)におけるタオルアプリケーション1005の一連の処理の流れについて詳細に説明する。
【0091】
図9に示すように、メインアプリケーション1001は、タオルアプリケーション1005を起動する(ステップS400)。
【0092】
次に、タオルアプリケーション1005は、「タオル絞り動作訓練」においてユーザが使用する模擬用品Q、行う動作、制限時間等を指示する指示情報を、モニタ12及びロボット14に出力させる(ステップS401)。
そうすると、モニタ12は、タオルQ4を絞る動作を、所定の制限時間以内に行うことをユーザに指示する指示情報(画像、文字等)を表示する。また、ロボット14は、同様の指示情報を音声で出力する。
【0093】
指示情報の出力が完了すると、タオルアプリケーション1005は、訓練を開始する(ステップS402)。このとき、タオルアプリケーション1005は、制限時間の残り時間のカウントを開始する。なお、残り時間はモニタ12に表示されてもよい。
【0094】
次に、タオルアプリケーション1005は、タオルQ4内部に設けられた圧力センサ15から検知信号を受信する(ステップS403)。例えば、タオルアプリケーション1005は、検知信号を1秒ごとに受信する。
【0095】
次に、タオルアプリケーション1005は、残り時間があるか否かを判断する(ステップS405)。
【0096】
残り時間が「0」となった場合(ステップS405:NO)、タオルアプリケーション1005は、「時間切れ」であることを示す演出情報を投影装置11、モニタ12、及び、ロボット14に出力させる(ステップS406)。
そうすると、投影装置11及びモニタ12は、制限時間内にタオル絞り動作が完了しなかったことを示す演出表現(画像、文字等の表示)を行う。また、ロボット14は、同様の情報を音声で出力する。この後、タオルアプリケーション1005はステップS413に進む。
【0097】
一方、残り時間がある場合(ステップS405:YES)、タオルアプリケーション1005は、閾値以上の圧力を検知した検知信号を2回連続で受信し、且つ、緩めフラグがOFFであるか否かを判断する(ステップS407)。
閾値は、訓練内容に指定されたレベルに応じて可変であり、レベル(難易度)が高いほど大きい閾値が設定される。
緩めフラグは、タオルQ4が絞られている状態(ON)か、緩められている状態(OFF)かを示す。
【0098】
閾値以上の検知信号を2回連続で受信し、且つ、緩めフラグがOFFである(タオルQ4が絞られていない状態である)場合(ステップS407:YES)、タオルアプリケーション1005は、ユーザがタオルQ4を絞る動作を行ったと判断する。この場合、タオルアプリケーション1005は、タオルQ4が絞られている演出情報(映像、効果音等)を投影装置11に出力させるとともに、緩めフラグをONにする(ステップS408)。そうすると、この演出情報は、投影装置11の投影部11aにより投影画像Pとして作業面T上に投影される。演出情報は、例えば、投影画像Pに表示されたバケツに水滴が落ちる映像及び効果音である。これにより、タオルQ4を絞る動作が適切に実行されたことをユーザに認識させることができる。
【0099】
また、圧力が閾値未満であった場合、又は、緩めフラグがONであった場合(ステップS407:NO)、ステップS411に進む。ステップS411の詳細については後述する。
【0100】
次に、タオルアプリケーション1005は、ユーザがタオルQ4を所定回数絞ったか否かを判断する(ステップS409)。
【0101】
ユーザがタオルQ4を絞る動作を所定回数(例えば、3回)行った場合(ステップS409:YES)、タオルアプリケーション1005は、タオル絞り動作が完了したと判断して、タオル絞り動作訓練が成功したことを示す演出情報(映像、効果音等)を、投影装置11に出力させる(ステップS410)。そうすると、この演出情報は、投影装置11の投影部11aにより投影画像Pとして作業面T上に投影される。また、タオルアプリケーション1005は、モニタ12及びロボット14にタオル絞り動作訓練の成功を示す演出情報(テキスト、画像、音声等)を出力させるようにしてもよい。
【0102】
一方、ユーザがタオルQ4を絞る動作を行ったと判断された回数が所定回数(例えば、3回)未満である場合(ステップS409:NO)、ステップS411に進む。
【0103】
圧力が閾値未満、又は、緩めフラグがONであった場合(ステップS407:NO)、
若しくは、ユーザがタオルQ4を絞る動作を行ったと判断された回数が所定回数未満であった場合、タオルアプリケーション1005は、ユーザがタオルQ4を緩めたか否かを判断する(ステップS411)。
例えば、圧力センサ15で検知された圧力が、前回検知された圧力よりも所定値以上低い場合、タオルアプリケーション1005は、ユーザがタオルQ4を緩める動作を行ったと判断する(ステップS411:YES)。この場合、タオルアプリケーション1005は、緩めフラグをOFFにして(ステップS412)、ステップS403に戻る。
一方、圧力センサ15で検知された圧力と、前回検知された圧力との差が所定値未満である場合、タオルアプリケーション1005は、ユーザがタオルQ4を緩める動作を行っていないと判断する。この場合、タオルアプリケーション1005は、緩めフラグを変更せずにステップS403に戻る。
【0104】
次にタオルアプリケーション1005は、訓練内容で指定されたセット数(回数)分の訓練が終了したか否かを判断する(ステップS413)。全セット終了していない場合(ステップS413:NO)、タオルアプリケーション1005はステップS402に戻り、タオル絞り動作訓練を再度ユーザに実施させる。また、全セット終了した場合(ステップS413:YES)、タオルアプリケーション1005は処理を終了する。
【0105】
(文字入力アプリケーションの処理フロー)
図10は、本発明の一実施形態に係る文字入力アプリケーションの処理の一例を示すフローチャートである。
図11は、本発明の一実施形態に係る文字入力アプリケーションの機能を説明するための図である。
訓練内容に次の訓練が「文字入力(タイプ)訓練」であると指定されている場合、メインアプリケーション1001は、図3のステップS14において、訓練に係る一連の処理を文字入力アプリケーション1006に実行させる。そして、メインアプリケーション1001は、文字入力アプリケーション1006の一連の処理が終了すると、図3のステップS15に進む。ここでは、図10図11を参照しながら、ステップS14(図3)における文字入力アプリケーション1002の一連の処理の流れについて詳細に説明する。
【0106】
図10に示すように、メインアプリケーション1001は、文字入力アプリケーション1006を起動する(ステップS500)。
【0107】
次に、文字入力アプリケーション1006は、「文字入力(タイプ)訓練」においてユーザが行う動作、制限時間等を指示する指示情報を、モニタ12及びロボット14に出力させる(ステップS501)。
そうすると、モニタ12は、指定された文字列を、投影画像Pに表示されたキーボードを介して入力するタイプ動作を、所定の制限時間以内に行うことをユーザに指示する指示情報(画像、文字等)を表示する。更に、ロボット14は、同様の指示情報を音声で出力する。
【0108】
指示情報の出力が完了すると、文字入力アプリケーション1006は、訓練を開始する(ステップS502)。
【0109】
次に、文字入力アプリケーション1006は、キーボードM3(図11)を含む投影画像Pを投影装置11に表示させるとともに、出題内容(入力する文字列)をモニタ12に表示させる(ステップS503)。
キーボードM3は、利用者の利用シーンに応じて変更することができる。例えば、キーボードM3は、レベル1ではATM等で暗証番号、金額等の入力に用いられる数字キーボードである。また、キーボードM3は、レベル2では日本語を入力するための50音キーボードであり、レベル3ではパーソナルコンピュータ等で用いられる文字、数字、ファンクションキー等の入力用のキーボードである。
また、文字入力アプリケーション1006は、出題内容がモニタ12に表示されると、制限時間の残り時間のカウントを開始する。なお、残り時間はモニタ12に表示されてもよい。
【0110】
次に、文字入力アプリケーション1006は、投影画像P内におけるOnTouchイベントが存在するかを検知する(ステップS504)。OnTouchイベントは、投影画像P上のどの位置にユーザの手(指)がタッチされたかを検知したことを示す信号である。投影装置11の検知センサ11bは、OnTouchイベントの有無を示す検知信号を制御装置10(文字入力アプリケーション1006)に送信する。文字入力アプリケーション1006は、投影装置11から受信した検知信号に基づいて、OnTouchイベントの存在を検知する。
【0111】
次に、文字入力アプリケーション1006は、残り時間があるか否かを判断する(ステップS505)。
【0112】
残り時間が「0」となった場合(ステップS505:NO)、文字入力アプリケーション1006は、「時間切れ」であることを示す演出情報を投影装置11、モニタ12、及び、ロボット14に出力させる(ステップS506)。そうすると、投影装置11及びモニタ12は、制限時間内にタイプが完了しなかったことを示す演出表現(画像、文字等の表示)を行う。また、ロボット14は、同様の情報を音声で出力する。この後、文字入力アプリケーション1006はステップS512に進む。
【0113】
一方、残り時間がある場合(ステップS505:YES)、文字入力アプリケーション1006は、判定キーR3(図11)がタッチされた(OnTouchイベントが存在する)か否かを判断する(ステップS507)。
判定キーR3は、全ての文字列の入力が完了した際にユーザによりタッチされるキーであり、例えば図11に示すように、「確認」キーである。
【0114】
判定キーR3がタッチされたことを検出していない場合(ステップS507:NO)、文字入力アプリケーション1006は、タッチされた(OnTouchイベントが存在する)キーに応じて、モニタ12の入力結果表示を更新する(ステップS508)。
例えば、文字入力アプリケーション1006は、キーボードM3の「1」キーがタッチされた場合、モニタ12の入力結果表示欄に「1」を表示させる。このとき、モニタ12は、入力結果表示欄に、以前入力された文字が表示されている場合、この文字の後ろに新たな文字「1」を追加して表示する。また、文字入力アプリケーション1006は、キーボードM3の「訂正」キーがタッチされた場合、モニタ12に前回入力した文字を削除(非表示)させる。文字入力アプリケーション1006は、このように、タッチされたキーに応じて、モニタ12の入力結果表示欄に表示される文字列を変化させる。
モニタ12の表示を更新すると、文字入力アプリケーション1006は、ステップS504に戻り、次のOnTouchイベントを待ち受ける。
【0115】
また、文字入力アプリケーション1006は、判定キーR3がタッチされたことを検出した場合(ステップS507:YES)、これまでに入力された文字列(モニタ12の入力結果表示欄に表示されている文字列)が、出題内容で指定された文字列と一致するか否かを判断する(ステップS509)。
【0116】
これまでに入力された文字列が出題内容で指定された文字列と一致しない場合(ステップS509:NO)、文字入力アプリケーション1006は、入力された文字列に誤りがあることを示す演出情報をモニタ12及びロボット14に出力させて(ステップS510)、ステップS504に戻る。
【0117】
一方、これまでに入力された文字列が出題内容で指定された文字列と一致する場合(ステップS509:YES)、文字入力アプリケーション1006は、ユーザが正しく文字入力を行ったと判断して、タイプ訓練が成功したことを示す演出情報(映像、効果音等)を、投影装置11に出力させる(ステップS511)。そうすると、この演出情報は、投影装置11の投影部11aにより投影画像Pとして作業面T上に投影される。また、文字入力アプリケーション1006は、モニタ12及びロボット14にタイプ訓練の成功を示す演出情報(テキスト、画像、音声等)を出力させるようにしてもよい。
【0118】
次に、文字入力アプリケーション1006は、訓練内容で指定されたセット数(回数)分の訓練が終了したか否かを判断する(ステップS512)。全セット終了していない場合(ステップS512:NO)、文字入力アプリケーション1006はステップS502に戻り、タイプ訓練を再度ユーザに実施させる。また、全セット終了した場合(ステップS512:YES)、文字入力アプリケーション1006は処理を終了する。
【0119】
なお、本実施形態では、タイプ訓練において、ユーザが手(指)で文字入力を行う態様を例として説明したが、これに限られることはない。例えば、他の実施形態では、ユーザは、タッチペン等の模擬用品Qを使って文字入力を行うようにしてもよい。
【0120】
(作用効果)
以上のように、本実施形態に係るリハビリテーション支援システム1は、対象者(ユーザ)に把持される模擬用品Qと、対象者に対し、模擬用品Qを用いた所定の動作を指示する指示手段(投影装置11、モニタ12、ロボット14)と、対象者が模擬用品Qを用いて行った動作が、模擬用品Q、または、模擬用品Qを把持する対象者の手に関して設定された判定基準を満たすか否かを判定する判定手段(制御装置10)と、判定手段による判定結果に基づいて、対象者が所定の動作を正しく行っているか否かを通知する通知手段(投影装置11、モニタ12、ロボット14)と、を備える。
上記のような構成とすることで、リハビリテーション支援システム1は、対象者(ユーザ)に模擬用品Q(コップQ1、鍵Q2、台拭きQ3、タオルQ4)を実際に把持させるとともに、これを使用した際に発生する手の動きの成否を判定対象とする。
これにより、リハビリテーション支援システム1は、日常生活で求められる道具を使った動作のリハビリテーション訓練を適切に行うことができる。
【0121】
また、通知手段(投影装置11)は、判定手段による判定結果に基づいて、模擬用品Qを用いて行った動作に応じた現象を視覚的または聴覚的に演出する。
このようにすることで、リハビリテーション支援システム1は、対象者の行った動作に対してリアルなフィードバックを与えることができるとともに、対象者が適切な動作を行っているか否かを容易に認識させることができる。
【0122】
また、模擬用品Qは、タオルQ4であって、内部に圧力センサ15を備える。指示手段は、対象者に対し、当該タオルQ4を絞ることを指示する。判定手段(タオルアプリケーション1005)は、圧力センサ15による圧力の検知結果が所定の閾値以上となるか否かを判定基準とする。
このようにすることで、リハビリテーション支援システム1は、タオル等を絞る動作を適切に訓練することができる。
【0123】
また、模擬用品Qは、鍵Q2である。指示手段は、鍵Q2を所定の差し込み方向における所定位置に合わせるとともに、鍵Q2を回すことを指示する。判定手段(鍵回しアプリケーション1003)は、当該鍵Q2を把持する手が差し込み方向周りに所定量以上回転したか否かを判定基準とする。
このようにすることで、リハビリテーション支援システム1は、鍵を回す動作(開錠動作)を適切に訓練することができる。
【0124】
また、模擬用品Qは、コップQ1である。指示手段は、コップQ1を所定位置に配置することを指示する。判定手段(コップアプリケーション1004)は、所定位置において所定時間、物体の存在が検知されることを判定基準とする。
このようにすることで、リハビリテーション支援システム1は、コップ等の物体を所定位置に配置する動作を適切に訓練することができる。
【0125】
また、模擬用品Qは、台拭きQ3である。指示手段は、ワイプ動作をさせるワイプ動作範囲M1を画像表示する。判定手段(机拭きアプリケーション1002)は、ワイプ動作範囲M1の複数個所において対象者の手の存在が検知されることを判定基準とする。
このようにすることで、リハビリテーション支援システム1は、机を拭く等のワイプ動作を適切に訓練することができる。
【0126】
上述の各実施形態において、上述したCPU100の各種処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【0127】
上記プログラムは、上述した機能の一部を実現するためのものであってもよい。更に、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0128】
以上のとおり、本発明に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0129】
1 リハビリテーション支援システム
10 制御装置
11 投影装置
11a 投影部
11b 検知センサ
12 モニタ
13 動作読取装置
14 ロボット
15 圧力センサ
16 機器間通信装置
100 CPU
1001 メインアプリケーション
1002 文字入力アプリケーション
1002 机拭きアプリケーション
1003 鍵回しアプリケーション
1004 コップアプリケーション
1005 タオルアプリケーション
1006 文字入力アプリケーション
101 接続インタフェース
102 メモリ
103 記録媒体
P 投影画像
Q 模擬用品
Q1 コップ
Q2 鍵
Q3 台拭き
Q4 タオル
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11