(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025099820
(43)【公開日】2025-07-03
(54)【発明の名称】支援システム、支援方法、及び支援プログラム
(51)【国際特許分類】
A61H 1/02 20060101AFI20250626BHJP
A61B 5/11 20060101ALI20250626BHJP
【FI】
A61H1/02 K
A61B5/11 230
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023216766
(22)【出願日】2023-12-22
(71)【出願人】
【識別番号】519135633
【氏名又は名称】公立大学法人大阪
(74)【代理人】
【識別番号】100120868
【弁理士】
【氏名又は名称】安彦 元
(74)【代理人】
【識別番号】100199347
【弁理士】
【氏名又は名称】西田 泰士
(72)【発明者】
【氏名】山崎 慎太郎
(72)【発明者】
【氏名】池渕 充彦
【テーマコード(参考)】
4C038
4C046
【Fターム(参考)】
4C038VA04
4C038VB12
4C038VB13
4C038VC20
4C046AA30
4C046AA33
4C046AA45
4C046AA47
4C046BB05
4C046DD36
4C046EE02
4C046EE09
4C046EE23
4C046EE24
4C046EE32
4C046EE37
(57)【要約】
【課題】手指の動作を高精度に評価することができる支援システム、支援方法、及び支援プログラムを提供する。
【解決手段】ユーザのリハビリテーションを支援する支援システム100であって、検出部1と、取得部と、評価部とを備える。検出部1は、前記ユーザの手指に装着され、前記手指の動作を検出する。取得部は、前記検出部の検出結果に基づき、前記手指の関節部の特徴を含む評価情報を取得する。評価部は、予め設定された評価指標を参照し、前記評価情報に基づく前記手指の動作を評価した評価結果23aを生成する。例えば前記検出部1は、磁気センサを用いて前記手指の動作を検出する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ユーザのリハビリテーションを支援する支援システムであって、
前記ユーザの手指に装着され、前記手指の動作を検出する検出部と、
前記検出部の検出結果に基づき、前記手指の関節部の特徴を含む評価情報を取得する取得部と、
予め設定された評価指標を参照し、前記評価情報に基づく前記手指の動作を評価した評価結果を生成する評価部と、
を備えること
を特徴とする支援システム。
【請求項2】
前記検出部は、磁気センサを用いて前記手指の動作を検出すること
を特徴とする請求項1記載の支援システム。
【請求項3】
前記評価結果に基づき、前記評価指標を変更する演算部をさらに備えること
を特徴とする請求項1記載の支援システム。
【請求項4】
前記演算部は、前記評価結果に基づき、前記手指の動作として実施可能、又は実施不可能と想定される動作種類を特定することを含むこと
を特徴とする請求項3記載の支援システム。
【請求項5】
前記取得部は、
複数の健常者から予め取得した手指情報を参照し、前記検出結果に基づくハンドモデルを生成し、
前記ハンドモデルから前記関節部の特徴を導出する
ことを特徴とする請求項1記載の支援システム。
【請求項6】
前記検出結果に基づき、前記手指を模した仮想手指を表示する表示部をさらに備え、
前記仮想手指は、前記ハンドモデルとは異なる特徴を示すこと
を特徴とする請求項5記載の支援システム。
【請求項7】
前記手指の動作を促すための仮想対象物情報が記憶された記憶部をさらに備え、
前記表示部は、前記仮想対象物情報を表示すること
を特徴とする請求項6記載の支援システム。
【請求項8】
前記記憶部には、前記手指の動作を促すための教示情報が記憶され、
前記表示部は、前記教示情報が前記仮想対象物情報を保持する状態を表示すること
を特徴とする請求項7記載の支援システム。
【請求項9】
前記評価情報は、前記手指のうち少なくとも2ヶ所の間の距離を示す距離情報を含むこと
を特徴とする請求項1記載の支援システム。
【請求項10】
前記評価情報は、前記手指の回転角度を示す回転情報を含むこと
を特徴とする請求項1記載の支援システム。
【請求項11】
前記評価情報は、前記手指に作用する圧力情報を含むこと
を特徴とする請求項1記載の支援システム。
【請求項12】
前記評価部は、前記評価指標を参照し、前記評価情報に基づく前記手指のつまみ動作の度合いを評価した前記評価結果を生成すること
を特徴とする請求項1~11のうち何れか1項記載の支援システム。
【請求項13】
前記関節部の特徴は、遠位指節間関節の角度、近位指節間関節の角度、中手指節間関節の角度、及び中手手根関節の角度の少なくとも何れかを含むこと
を特徴とする請求項12記載の支援システム。
【請求項14】
ユーザのリハビリテーションを支援する支援方法であって、
前記ユーザの手指に装着された検出部を介し、前記手指の動作を検出する検出ステップと、
前記検出ステップの検出結果に基づき、前記手指の関節部の特徴を含む評価情報を取得する取得ステップと、
予め設定された評価指標を参照し、前記評価情報に基づく前記手指の動作を評価した評価結果を生成する評価ステップと、
を備えること
を特徴とする支援方法。
【請求項15】
ユーザのリハビリテーションを支援する支援プログラムであって、
コンピュータに、
前記ユーザの手指に装着された検出部を介し、前記手指の動作を検出した検出結果に基づき、前記手指の関節部の特徴を含む評価情報を取得する取得ステップと、
予め設定された評価指標を参照し、前記評価情報に基づく前記手指の動作を評価した評価結果を生成する評価ステップと、
を実行させること
を特徴とする支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、支援システム、支援方法、及び支援プログラムに関する。
【背景技術】
【0002】
従来、ユーザのリハビリテーションを支援する方法として、例えば特許文献1のような上肢運動学習装置が提案されている。
【0003】
特許文献1では、右眼用ディスプレイと、左眼用ディスプレイと、患者の上肢の距離画像を撮影する撮影手段と、この距離画像から仮想骨画像を生成する仮想骨画像生成手段と、仮想骨画像が教示画像に重なるように仮想骨画像の表示位置を設定する画像位置合わせ手段と、教示画像に仮想骨画像を重ねた右眼用合成画像を生成する画像生成手段と、教示画像に仮想骨画像を重ねた左眼用合成画像を生成する画像生成手段とを備える上肢運動学習装置が開示されている。特許文献1に開示された上肢運動学習装置では、リハビリ動作の手本となる教示画像が3D表示され、それに重ねて患者の肢の骨を模した仮想骨画像が表示され、この合成画像を見ながら教示画像の動きに合うように自分の肢を運動させることで適切なリハビリが実施できる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、特許文献1の開示技術では、教示画像と、仮想骨画像との差分を用いた評価を前提としている。しかしながら、仮想骨画像は、実際の手指を完全に再現することは難しく、手指の僅かな動作を再現できない場合がある。このため、動作の種類によっては評価結果にバラつきが生ずる懸念が挙げられる。このような事情により、特許文献1の開示技術では、手指の動作を高精度に評価することが難しい。従って、ユーザの指の動作を高精度に評価することができる方法が望まれている。
【0006】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、手指の動作を高精度に評価することができる支援システム、支援方法、及び支援プログラムを提供することにある。
【課題を解決するための手段】
【0007】
第1発明に係る支援システムは、ユーザのリハビリテーションを支援する支援システムであって、前記ユーザの手指に装着され、前記手指の動作を検出する検出部と、前記検出部の検出結果に基づき、前記手指の関節部の特徴を含む評価情報を取得する取得部と、予め設定された評価指標を参照し、前記評価情報に基づく前記手指の動作を評価した評価結果を生成する評価部と、を備えることを特徴とする。
【0008】
第2発明に係る支援システムは、第1発明において、前記検出部は、磁気センサを用いて前記手指の動作を検出することを特徴とする。
【0009】
第3発明に係る支援システムは、第1発明において、前記評価結果に基づき、前記評価指標を変更する演算部をさらに備えることを特徴とする。
【0010】
第4発明に係る支援システムは、第3発明において、前記演算部は、前記評価結果に基づき、前記手指の動作として実施可能、又は実施不可能と想定される動作種類を特定することを含むことを特徴とする。
【0011】
第5発明に係る支援システムは、第1発明において、前記取得部は、複数の健常者から予め取得した手指情報を参照し、前記検出結果に基づくハンドモデルを生成し、前記ハンドモデルから前記関節部の特徴を導出することを特徴とする。
【0012】
第6発明に係る支援システムは、第5発明において、前記検出結果に基づき、前記手指を模した仮想手指を表示する表示部をさらに備え、前記仮想手指は、前記ハンドモデルとは異なる特徴を示すことを特徴とする。
【0013】
第7発明に係る支援システムは、第6発明において、前記手指の動作を促すための仮想対象物情報が記憶された記憶部をさらに備え、前記表示部は、前記仮想対象物情報を表示することを特徴とする。
【0014】
第8発明に係る支援システムは、第7発明において、前記記憶部には、前記手指の動作を促すための教示情報が記憶され、前記表示部は、前記教示情報が前記仮想対象物情報を保持する状態を表示することを特徴とする。
【0015】
第9発明に係る支援システムは、第1発明において、前記評価情報は、前記手指のうち少なくとも2ヶ所の間の距離を示す距離情報を含むことを特徴とする。
【0016】
第10発明に係る支援システムは、第1発明において、前記評価情報は、前記手指の回転角度を示す回転情報を含むことを特徴とする。
【0017】
第11発明に係る支援システムは、第1発明において、前記評価情報は、前記手指に作用する圧力情報を含むことを特徴とする。
【0018】
第12発明に係る支援システムは、第1発明~第11発明のうち何れかにおいて、前記評価部は、前記評価指標を参照し、前記評価情報に基づく前記手指のつまみ動作の度合いを評価した前記評価結果を生成することを特徴とする。
【0019】
第13発明に係る支援システムは、第12発明において、前記関節部の特徴は、遠位指節間関節の角度、近位指節間関節の角度、中手指節間関節の角度、及び中手手根関節の角度の少なくとも何れかを含むことを特徴とする。
【0020】
第14発明に係る支援方法は、ユーザのリハビリテーションを支援する支援方法であって、前記ユーザの手指に装着された検出部を介し、前記手指の動作を検出する検出ステップと、前記検出ステップの検出結果に基づき、前記手指の関節部の特徴を含む評価情報を取得する取得ステップと、予め設定された評価指標を参照し、前記評価情報に基づく前記手指の動作を評価した評価結果を生成する評価ステップと、を備えることを特徴とする。
【0021】
第15発明に係る支援プログラムは、ユーザのリハビリテーションを支援する支援プログラムであって、コンピュータに、前記ユーザの手指に装着された検出部を介し、前記手指の動作を検出した検出結果に基づき、前記手指の関節部の特徴を含む評価情報を取得する取得ステップと、予め設定された評価指標を参照し、前記評価情報に基づく前記手指の動作を評価した評価結果を生成する評価ステップと、を実行させることを特徴とする。
【発明の効果】
【0022】
第1発明~第13発明によれば、取得部は、検出部の検出結果に基づき、手指の関節部の特徴を含む評価情報を取得する。また、評価部は、予め設定された評価指標を参照し、評価情報に基づく手指の動作を評価した評価結果を生成する。このため、手指の僅かな動作を捉え易い関節部の特徴を用いて、手指の動作を評価することができる。これにより、手指の動作を高精度に評価することが可能となる。
【0023】
特に、第2発明によれば、検出部は、磁気センサを用いて手指の動作を検出する。このため、可視光や赤外線等を利用する光センサを用いた場合に比べて、手指の関節部の特徴を特定し易く、精度の高い評価情報を取得することができる。これにより、手指の動作をさらに高精度に評価することが可能となる。
【0024】
特に、第3発明によれば、演算部は、評価結果に基づき、評価指標を変更する。このため、経時に伴いユーザの重症度合い等の状況が変化した場合においても、状況に応じた評価指標を容易に設定することができる。これにより、支援システムの利便性を向上させることが可能となる。
【0025】
特に、第4発明によれば、演算部は、評価結果に基づき、手指の動作として実現可能、又は実現不可能と想定される動作種類を特定することを含む。このため、ユーザの重症度合いを容易に特定することができ、例えばユーザに適したリハビリテーションメニューを検討し易くすることができる。これにより、ユーザの手指の動作の早期改善を図ることが可能となる。
【0026】
特に、第5発明によれば、取得部は、ハンドモデルから関節部の特徴を導出する。このため、検出結果のような生データから関節部の特徴を直接導出する場合に比べて、バラつきの少ない関節部の特徴を導出することができる。これにより、手指の動作をさらに高精度に評価することが可能となる。
【0027】
特に、第6発明によれば、仮想手指は、ハンドモデルとは異なる特徴を示す。このため、ハンドモデルに比べて、ユーザの視認に適した仮想手指を表示させることができる。これにより、支援システムの利便性を向上させることが可能となる。
【0028】
特に、第7発明によれば、表示部は、仮想対象物情報を表示する。このため、実生活に近い状況を踏まえ、ユーザの手指の動作を評価することができる。これにより、リハビリテーションの効率的な活動を図ることが可能となる。
【0029】
特に、第8発明によれば、表示部は、教示情報が仮想対象物情報を保持する状態を表示する。このため、理想的な手指の動作を、ユーザが理解し易くすることができる。これにより、ユーザの認識違いに起因する評価結果のバラつきを抑制することが可能となる。
【0030】
特に、第9発明によれば、評価情報は、手指のうち少なくとも2ヶ所の間の距離を示す距離情報を含む。このため、特定の動作に特化したパラメータのみを評価することができ、例えばユーザ毎に特有の癖等のような、評価に不要なパラメータを容易に除外することができる。これにより、手指の動作をさらに高精度に評価することが可能となる。
【0031】
特に、第10発明によれば、評価情報は、手指の回転角度を示す回転情報を含む。このため、指の回転度合いを考慮した動作を評価することができる。これにより、手指の動作をさらに高精度に評価することが可能となる。
【0032】
特に、第11発明によれば、評価情報は、手指に作用する圧力情報を含む。このため、手指の加圧度合いを考慮した動作を評価することができる。これにより、手指の動作をさらに高精度に評価することが可能となる。
【0033】
特に、第12発明によれば、評価部は、評価指標を参照し、評価情報に基づく手指のつまみ動作の度合いを評価した評価結果を生成する。このため、つまみ動作に特化した評価を実施することができる。これにより、手指の動作をさらに高精度に評価することが可能となる。
【0034】
特に、第13発明によれば、関節部の特徴は、遠位指節間関節の角度、近位指節間関節の角度、中手指節間関節の角度、及び中手手根関節の角度の少なくとも何れかを含む。このため、つまみ動作を評価する際の精度を向上させることができる。これにより、手指の動作をさらに高精度に評価することが可能となる。
【0035】
第14発明及び第15発明によれば、取得ステップは、検出部の検出結果に基づき、手指の関節部の特徴を含む評価情報を取得する。また、評価ステップは、予め設定された評価指標を参照し、評価情報に基づく手指の動作を評価した評価結果を生成する。このため、手指の僅かな動作を捉え易い関節部の特徴を用いて、手指の動作を評価することができる。これにより、手指の動作を高精度に評価することが可能となる。
【図面の簡単な説明】
【0036】
【
図1】
図1は、実施形態における支援システムの一例を示す模式図である。
【
図2】
図2(a)~
図2(c)は、評価情報の一例を示す模式図である。
【
図3】
図3(a)~
図3(c)は、距離情報の一例を示す模式図である。
【
図4】
図4(a)は、支援装置の構成の一例を示す模式図であり、
図4(b)は、支援装置の機能の一例を示す模式図である。
【
図5】
図5は、実施形態における支援方法の一例を示すフローチャートである。
【
図6】
図6(a)は、実施形態における支援システムの第1変形例を示す模式図であり、
図6(b)は、実施形態における支援システムの第2変形例を示す模式図である。
【
図7】
図7(a)は、回転情報の一例を示す模式図であり、
図7(b)は、圧力情報の一例を示す模式図である。
【発明を実施するための形態】
【0037】
以下、本発明の実施形態における支援システム、支援方法、及び支援プログラムの一例について、図面を参照しながら説明する。
【0038】
(実施形態:支援システム100)
図1は、本実施形態における支援システム100の一例を示す模式図である。
【0039】
支援システム100は、ユーザのリハビリテーションを支援するために用いられる。支援システム100は、ユーザの指の動作を評価することができるため、ユーザに対して動作の理解を促し易く、効率的な動作の改善を実現することができる。また、支援システム100を用いることで、療法士がユーザの動作を確認する時間を削減することができ、療法士の負荷を低減させることができる。
【0040】
支援システム100は、例えば
図1に示すように、検出部1と、支援装置2とを備え、例えばサーバ4等のような情報管理装置を備えてもよい。支援システム100では、例えば通信網3や通信ケーブル等を介して、検出部1及び支援装置2が接続される。
【0041】
支援システム100は、検出部1を介してユーザの手指の動作を検出し、手指の動作を評価する。これにより、支援システム100を利用するユーザは、自身の手指の動作に関する特徴を、容易に把握することができる。
【0042】
支援システム100は、例えば支援装置2を介してユーザの手指を模した仮想手指22aを表示する。この場合、表示された仮想手指22aは、ユーザの手指の動作に連動して変動する。また、支援システム100は、例えば支援装置2を介し、ユーザの手指の動作を評価した評価結果23aを表示する。
【0043】
(検出部1)
検出部1は、ユーザの手指に装着され、手指の動作を検出する。検出部1は、指の動作を検出するための複数のセンサ11を含み、例えば磁気センサを含む。複数のセンサ11は、例えば指先に設けられるほか、例えば指の付根等の位置に設けられてもよく、用途に応じて任意の位置に設けることができる。
【0044】
検出部1は、複数のセンサ11が取り付けられたグローブ型を示すほか、例えば指や掌にセンサ11を固定できるバンド等を示してもよく、センサ11により手指の動作を検出できる構成であれば任意である。検出部1には、例えば磁気センサ及び加速度センサのような、複数種類のセンサ11が取り付けられてもよい。特に、センサ11として磁気センサを用いた場合、光センサや屈曲センサ等に比べて、指の長さ等のようなユーザ毎に異なる手指の特徴に応じた動作を検出できる。これにより、手指の動作を高精度に検出することが可能となる。
【0045】
検出部1は、例えばCPU(Central Processing Unit)等のプロセッサや、各種情報を記録する記録媒体等を搭載した電子機器を含んでもよい。検出部1は、例えば検出部1として、例えばQuantum Metagloves(Manus社製)のような製品(製品に紐づく専用アプリケーション等の付加機能も含む)を用いることができる。
【0046】
検出部1は、例えば検出結果に基づき、評価情報を生成する。評価情報は、手指の関節部の特徴に関する情報を含む。
【0047】
検出部1は、公知の技術を用いて評価情報を生成することができる。なお、評価情報を生成する機能は、検出部1に含まれるほか、例えば専用アプリケーション等の形式により、支援装置2等に保存されてもよい。この場合、検出部1により検出された複数のデータが、支援装置2に送られた上で、支援装置2を介して評価情報が生成される。
【0048】
関節部の特徴として、例えば公益社団法人日本リハビリテーション医学会が規定する「関節可動域表示ならびに測定法」における「III.手指測定」に準ずる運動方向に基づく角度を用いることができる。上記のほか、例えば関節部の特徴は、対象とする部分に対する隣接骨を軸とした角度を用いてもよく、検出部1の特徴に応じて任意に設定できる。
【0049】
関節部の特徴は、例えば
図2(a)に示すように、遠位指節間関節DIPの角度を含む。例えば母指を除く各指の場合、遠位指節間関節DIPの角度として、末節骨と、中節骨軸との相対角度が用いられる。例えば母指の場合、遠位指節間関節DIPの角度として、末節骨と、基節骨との相対角度が用いられる。
【0050】
関節部の特徴は、例えば
図2(b)に示すように、近位指節間関節PIPの角度を示す。例えば母指を除く各指の場合、近位指節間関節PIPの角度として、中節骨と基節骨軸との相対角度が用いられる。
【0051】
関節部の特徴は、例えば
図2(c)に示すように、中手指節間関節MPの角度を示す。例えば中手指節間関節MPの角度として、基節骨と中節骨の相対的な角度が用いられる。
【0052】
関節部の特徴は、例えば中手手根関節CMの角度を示す。例えば母指の場合、中手骨と、大菱形骨との相対的な角度が用いられる。なお、中手手根関節CMの角度には、例えば撓側と掌側の内外転、対立の情報が含まれてもよい。上記のほか、例えば関節部の特徴として、示指中手骨から橈骨に至る水平線に対する相対角度、示指から橈骨に至る水平線に対する相対角度、又は、手を水平にした状態等のような基本的な姿勢からの相対的角度の何れかが用いられてもよい。
【0053】
評価情報は、例えば距離情報を含んでもよい。距離情報は、例えば
図3(a)、及び
図3(b)に示すように、手指のうち少なくとも2ヶ所の間の距離(
図3(a)では距離d1、
図3(b)では距離d2)を示す。距離情報は、距離d1や距離d2のような、特定の指の姿勢や特定の時間等における値を含むほか、例えば距離d1と距離d2との差分値のような、指の動作前後や一定期間等における変動値を含んでもよい。
【0054】
上記のほか、例えば
図3(c)に示すように、位置情報は、2ヶ所以上の重点に相当する位置Gを含んでもよい。位置Gは、例えば対象とする各位置の距離(
図3(c)では距離d3a、d3b、d3c)に基づき算出してもよい。
【0055】
(支援装置2)
図4(a)は、支援装置2の構成の一例を示す模式図であり、
図4(b)は、支援装置2の機能の一例を示す模式図である。
【0056】
支援装置2として、ヘッドマウントディスプレイ(HMD)が用いられるほか、例えばパーソナルコンピュータや、タブレット端末等の電子機器が用いられてもよい。
【0057】
支援装置2は、例えば
図4(a)に示すように、筐体20と、CPU201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、保存部204と、I/F205~207とを備える。各構成201~207は、内部バス210により接続される。
【0058】
CPU201は、支援装置2全体を制御する。ROM202は、CPU201の動作コードを格納する。RAM203は、CPU201の動作時に使用される作業領域である。
【0059】
保存部204は、例えばユーザの指の動作を評価する際に必要な情報や、ユーザに関する情報等を保存できる。保存部204として、例えばSSD(Solid State Drive)等のデータ保存装置が用いられる。
【0060】
I/F205は、通信網3を介して、必要に応じて検出部1やサーバ4等との各種情報の送受信を行うためのインターフェースである。I/F206は、入力部208との情報の送受信を行うためのインターフェースである。入力部208として、例えば支援装置2を制御する情報を入力するための外部機器等が用いられる。I/F207は、表示部209との各種情報の送受信を行うためのインターフェースである。表示部209として、ディスプレイが用いられ、例えばタッチパネル式の場合、入力部208と一体に設けられる。
【0061】
支援装置2は、例えば
図4(b)に示すように、取得部21と、評価部23とを備え、例えば出力部22、演算部24、及び記憶部25の少なくとも何れかを備えてもよい。なお、
図4(b)に示した各機能は、CPU201が、RAM203を作業領域として、保存部204等に記憶されたプログラムを実行することにより実現される。
【0062】
<取得部21>
取得部21は、評価情報を取得する。取得部21は、検出部1から評価情報を取得する。上記のほか、検出部1により検出された検出結果を支援装置2が取得し、公知の処理技術を用いて、検出結果に基づく評価情報が生成されてもよい。
【0063】
取得部21は、例えばハンドモデルを生成し、ハンドモデルから関節部の特徴を導出してもよい。この場合、検出結果のような生データから関節部の特徴を直接導出する場合に比べて、バラつきの少ない関節部の特徴を導出することができる。
【0064】
ハンドモデルは、例えば逆動力学を用いた公知技術により、手指の動作を示す検出結果から生成される。取得部21は、例えば複数の健常者から予め取得した手指情報を参照し、ハンドモデルの大きさを設定してもよい。手指情報は、例えば健常者の手指の大きさ、長さ等のような形状や、外観の特徴を含み、例えば年齢や性別毎に収集された特徴を含む。手指情報を用いることで、ユーザの手指の特徴に類似した健常者の特徴に基づき、ハンドモデルを容易に生成することができる。
【0065】
<出力部22>
出力部22は、例えば位置情報に基づき、ユーザの手指を模した仮想手指22aを表示部209に出力する。この際、表示部209には、仮想手指22aが表示される。なお、仮想手指22aは、公知の技術を用いて生成することができる。また、仮想手指22aは、検出部1の検出結果に基づき生成されるため、例えば表示部209にはユーザ毎に異なる仮想手指22aを表示させてもよい。この場合、予め設定された手指画像を表示する場合に比べ、ユーザが指の動作を理解し易くすることができる。
【0066】
なお、仮想手指22aは、例えばハンドモデルとは異なる特徴を示してもよい。この場合、仮想手指22aとして、ハンドモデルよりもユーザの手指の特徴を表現することができる。即ち、ハンドモデルに比べて、ユーザの視認に適した仮想手指22aを表示させることができる。
【0067】
<評価部23>
評価部23は、予め設定された評価指標を参照し、評価情報に基づくユーザの手指の動作を評価した評価結果23aを生成する。評価部23は、例えば評価結果23aを表示部209に出力してもよく、表示部209を介して評価結果23aが表示されてもよい。
【0068】
<<評価指標>>
評価指標は、例えば評価情報と同様のデータ形式を示し、例えば適切な手指の動作に対応する閾値や許容範囲を示す。評価指標は、例えば保存部204に複数保存され、用途に適した評価指標を選択できる。評価指標は、例えば公知の機械学習を用いて生成された学習モデルを示してもよく、この場合には、入力情報として評価情報を用いることで、評価結果23aを出力してもよい。
【0069】
評価指標として、例えば公益社団法人日本リハビリテーション医学会が規定する「関節可動域表示ならびに測定法」における「III.手指測定」に記載された「参考可動域角度」の範囲が用いられてもよい。
【0070】
<<評価結果23a>>
例えば評価結果23aは、ユーザが認識できる形式により生成され、用途に応じて任意の形式に設定することができる。評価結果23aとして、例えば「良い」、「悪い」、「80点」等のような文字列が用いられる。評価結果23aとして、例えば仮想手指22a等のような、表示部209に表示させる対象の色を変化させるための情報が用いられてもよい(例えば動作が許容範囲外の場合、仮想手指22aが赤く変化する等)。
【0071】
例えば、上述した「参考可動域角度」の範囲が評価指標として用いられた場合、評価結果23aは、「あなたの可動域角度は、参考可動域角度に対して○○%」、等のように、参考可動域角度との比較結果を示してもよい。また、評価結果23aは、例えば評価指標(例えば正常の状態)との逸脱度を示してもよい。
【0072】
<演算部24>
演算部24は、例えば評価結果23aに基づき、評価指標を変更する。例えばユーザが適切な動作を実施できた場合、演算部24は、別の動作を評価するための評価指標や、現状の動作の難易度が高く設定された評価指標等を選択し、現状の評価指標から変更する。なお、演算部24が評価指標を変更する条件は、用途に応じて任意に設定することができる。また、例えば評価結果23aに、評価指標を変更する旨の情報が含まれてもよい。
【0073】
<記憶部25>
例えば記憶部25は、保存部204に保存された各種情報を、必要に応じて取出す。記憶部25は、各構成21~24により用いた各種情報を、必要に応じて保存部204に保存する。
【0074】
(通信網3)
通信網3は、支援装置2に対し、検出部1やサーバ4等が通信接続するためのインターネット網等である。通信網3は、公知の無線通信又は有線通信を示し、用途に応じて任意に用いることができる。
【0075】
(サーバ4)
サーバ4は、通信網3を介して送られてきた評価結果23a等の各種情報を保存し、蓄積する。サーバ4は、支援装置2からの要求に基づき、通信網3を介して蓄積された情報を支援装置2へと送信してもよい。
【0076】
サーバ4は、例えば複数の支援装置2と接続され、各支援装置2から評価結果23a等の各種情報を取得し、一括して保存してもよい。なお、サーバ4は、上述した支援装置2の備える各機能のうち、少なくとも一部の機能を備えてもよい。
【0077】
(実施形態:支援方法)
次に、本実施形態における支援方法の一例について説明する。
図5は、本実施形態における支援方法の一例を示すフローチャートである。
【0078】
支援方法は、検出ステップS110と、取得ステップS120と、評価ステップS140とを備え、例えば表示ステップS130、及び演算ステップS150の少なくとも何れかを備えてもよい。なお、支援方法の少なくとも一部は、例えば支援システム100を用いて実施され、例えば支援装置2にインストールされた計測プログラムを介して実行することができる。
【0079】
<検出ステップS110>
検出ステップS110は、ユーザの手指に装着された検出部1を介し、手指の動作を検出する。検出ステップS110において、検出対象とする手指の位置や変動等を検出するタイミングは、用途に応じて任意に設定できる。
【0080】
<取得ステップS120>
取得ステップS120は、検出部1の検出結果に基づき、手指の関節部の特徴を含む評価情報を取得する。例えば取得部21は、検出部1を用いて生成された評価情報を取得する。取得ステップS120において、評価情報を取得するタイミングは、用途に応じて任意に設定できる。
【0081】
<表示ステップS130>
例えば表示ステップS130は、評価情報に基づき、ユーザの手指を模した仮想手指22aを表示する。例えば出力部22は、予め保存部204に記憶された専用プログラムや、専用アプリケーションを用いて、評価情報に基づく仮想手指22aを生成し、生成された仮想手指22aを表示部209に出力する。これにより、表示部209には、仮想手指22aが表示される。なお、表示ステップS130において、仮想手指22aを表示するタイミングは、用途に応じて任意に設定でき、例えば仮想手指22aを表示するタイミングを短くすることで、ユーザの手指の動きに対する遅延時間を抑制することができる。
【0082】
<評価ステップS140>
評価ステップS140は、予め設定された評価指標を参照し、評価情報に基づく評価結果23aを生成する。例えば評価部23は、評価情報毎に対する評価結果23aを生成するほか、例えば一定期間に取得された複数の評価情報に対する評価結果23aを生成してもよい。また、評価部23は、複数の評価情報毎に基づく1つの総合的な評価結果23aを生成してもよい。この場合、例えば評価情報毎に異なる評価指標が参照されてもよい。
【0083】
例えば評価部は、指尖つまみ、指腹つまみ、側副つまみの少なくとも何れかの度合いを評価した評価結果23aを生成してもよい。この場合、関節部の特徴として、以下を含む。
・母指の節間関節IPにおける掌側外転角度、及び撓側内転角度
・母指の中手指節間関節MPにおける掌側外転角度、及び撓側内転角度
・母指の中手手根関節CMにおける掌側外転角度、及び撓側内転角度
・母指以外の各指の遠位指節間関節DIPにおける屈曲角度
・母指以外の各指の近位指節間関節PIPにおける屈曲角度
・母指以外の各指の中手指節間関節MPにおける屈曲角度
【0084】
なお、上述した指尖つまみ、指腹つまみ、側副つまみに対する評価指標は、公知の定義や、用途に応じて任意に設定することができる。
【0085】
評価ステップS140は、表示部209を介して評価結果23aを表示するほか、サーバ4や他の端末等に評価結果23aを送信してもよい。また、評価ステップS140は、例えばユーザが手指の動作を終了したあとに、評価結果23aの経時変化や、総合的な評価結果23aを表示してもよく、表示部209を介して評価結果23aを表示するタイミング等は用途に応じて任意に設定できる。
【0086】
<演算ステップS150>
例えば演算ステップS150は、評価結果23aに基づき、評価指標を変更する。例えば演算部24は、保存部204に記憶された複数の参照用評価結果と、参照用評価結果毎に紐づく評価指標とのリストを参照し、評価ステップS140において生成された評価結果23aと同一又は類似する参照表評価結果に紐づく評価指標を選択する。その後、演算部24は、現状の評価指標から、選択された評価指標に変更する。
【0087】
演算部24は、例えば評価結果23aに基づき、変更の候補となる複数の評価指標を選択してもよい。この場合、演算ステップS150は、選択された複数の評価指標を表示部209に表示し、例えばユーザ等が選択した特定の評価指標に変更する。このため、ユーザの心理状態等を考慮した評価を実施することができる。これにより、継続したリハビリテーションの支援に繋げることが可能となる。
【0088】
演算部24は、例えば評価結果23aに基づき、手指の動作として実施可能、又は実施不可能と想定される動作種類を特定してもよい。この場合、演算部24は、例えば複数の動作種類を特定してもよい。
【0089】
演算ステップS150は、例えば特定された動作種類を、表示部209に表示してもよい。この場合、例えば複数の動作種類を表示部209に表示し、ユーザ等が選択した動作種類に基づく評価を実施してもよい。
【0090】
上述した各ステップを実施することにより、本実施形態における支援方法が終了する。なお、上述した各ステップの少なくとも何れかを、繰返し実施してもよい。
【0091】
本実施形態によれば、取得部21は、検出部1の検出結果に基づき、手指の関節部の特徴を含む評価情報を取得する。また、評価部23は、予め設定された評価指標を参照し、評価情報に基づく手指の動作を評価した評価結果23aを生成する。このため、手指の僅かな動作を捉え易い関節部の特徴を用いて、手指の動作を評価することができる。これにより、手指の動作を高精度に評価することが可能となる。
【0092】
また、本実施形態によれば、検出部1は、磁気センサを用いて手指の動作を検出する。このため、可視光や赤外線等を利用する光センサを用いた場合に比べて、手指の関節部の特徴を特定し易く、精度の高い評価情報を取得することができる。これにより、手指の動作をさらに高精度に評価することが可能となる。
【0093】
また、本実施形態によれば、演算部24は、評価結果23aに基づき、評価指標を変更する。このため、経時に伴いユーザの重症度合い等の状況が変化した場合においても、状況に応じた評価指標を容易に設定することができる。これにより、支援システム100の利便性を向上させることが可能となる。
【0094】
また、本実施形態によれば、演算部24は、評価結果23aに基づき、手指の動作として実現可能、又は実現不可能と想定される動作種類を特定することを含む。このため、ユーザの重症度合いを容易に特定することができ、例えばユーザに適したリハビリテーションメニューを検討し易くすることができる。これにより、ユーザの手指の動作の早期改善を図ることが可能となる。
【0095】
また、本実施形態によれば、取得部21は、ハンドモデルから関節部の特徴を導出する。このため、検出結果のような生データから関節部の特徴を直接導出する場合に比べて、バラつきの少ない関節部の特徴を導出することができる。これにより、手指の動作をさらに高精度に評価することが可能となる。
【0096】
また、本実施形態によれば、仮想手指22aは、ハンドモデルとは異なる特徴を示す。このため、ハンドモデルに比べて、ユーザの視認に適した仮想手指22aを表示させることができる。これにより、支援システム100の利便性を向上させることが可能となる。
【0097】
また、本実施形態によれば、評価情報は、手指のうち少なくとも2ヶ所の間の距離を示す距離情報を含む。このため、特定の動作に特化したパラメータのみを評価することができ、例えばユーザ毎に特有の癖等のような、評価に不要なパラメータを容易に除外することができる。これにより、手指の動作をさらに高精度に評価することが可能となる。
【0098】
また、本実施形態によれば、関節部の特徴は、遠位指節間関節DIPの角度、近位指節間関節PIPの角度、中手指節間関節MPの角度、及び中手手根関節CMの角度の少なくとも何れかを含む。このため、つまみ動作を評価する際の精度を向上させることができる。これにより、手指の動作をさらに高精度に評価することが可能となる。
【0099】
また、本実施形態によれば、取得ステップS120は、検出部1の検出結果に基づき、手指の関節部の特徴を含む評価情報を取得する。また、評価ステップS140は、予め設定された評価指標を参照し、評価情報に基づく手指の動作を評価した評価結果23aを生成する。このため、手指の僅かな動作を捉え易い関節部の特徴を用いて、手指の動作を評価することができる。これにより、手指の動作を高精度に評価することが可能となる。
【0100】
(実施形態:支援システム100の第1変形例)
次に、本実施形態における支援システム100の第1変形例について説明する。上述した実施形態と、第1変形例との違いは、仮想対象物情報が表示部209に表示される点である。なお、上述した実施形態と同様の内容については、説明を省略する。
【0101】
表示部209は、例えば
図6(a)に示すように、仮想対象物情報25aを表示する。仮想対象物情報25aは、ユーザの手指の動作を促すために用いられ、例えば保存部204等の記憶媒体に予め保存される。
【0102】
仮想対象物情報25aとして、例えば仮想手指22aにより保持された状態を促せる形状が用いられ、円筒や垂直等の用途に応じた任意の形状が用いられる。仮想対象物情報25aは、例えばユーザの手指の動作に伴い、移動や変形するように表示されてもよい。
【0103】
仮想対象物情報25aは、例えば評価指標と紐づいて設定されてもよい。この場合、表示ステップS130では、例えば出力部22は、予め保存部204等に保存された仮想対象物情報25aを、表示部209を介して表示する。
【0104】
また、評価ステップS140では、例えば評価部23は、仮想対象物情報25aに紐づく評価指標を参照し、仮想対象物情報25aの位置、及び評価情報に基づく評価結果23aを生成する。評価ステップS140では、例えば仮想対象物情報25aの位置を基準として、評価情報が評価指標の条件を満たしていれば、ユーザの指が適切に動作している旨の評価結果23aが生成される。なお、基準とする仮想対象物情報25aの位置として、仮想対象物情報25aの中心が用いられるほか、仮想対象物情報25aの表面が用いられてもよい。上記のほか、評価ステップS140では、例えば仮想対象物情報25aの位置を考慮せずに、評価結果23aが生成されてもよい。
【0105】
上記のほか、例えば仮想対象物情報25aとして、例えば背景や、経時に伴い変動する形状等が用いられてもよい。仮想対象物情報25aは、評価を実施したい内容に応じて任意に設定することができる。
【0106】
本変形例によれば、表示部209は、仮想対象物情報25aを表示する。このため、実生活に近い状況を踏まえ、ユーザの手指の動作を評価することができる。これにより、リハビリテーションの効率的な活動を図ることが可能となる。
【0107】
(実施形態:支援システム100の第2変形例)
次に、本実施形態における支援システム100の第2変形例について説明する。上述した実施形態と、第2変形例との違いは、教示情報が表示部209に表示される点である。なお、上述した実施形態と同様の内容については、説明を省略する。
【0108】
表示部209は、例えば
図6(b)に示すように、教示情報25bを表示する。教示情報25bは、ユーザの手指の動作を促すために用いられ、例えば保存部204等の記憶媒体に予め保存される。
【0109】
教示情報25bは、仮想手指22aと同種の画像が用いられ、例えば療法士等が予め保存した手指を模した画像を示す。教示情報25bとして、例えば評価指標を満たす動作を示す手指の画像が用いられる。この場合、表示ステップS130では、例えば出力部22は、予め保存部204等に保存された教示情報25bを、表示部209を介して表示する。この際、例えば
図6(b)に示すように、表示部209は、教示情報25bが仮想対象物情報25aを保持する状態を表示してもよい。
【0110】
また、評価ステップS140では、例えば評価部23は、教示情報25bに紐づく評価指標を参照し、教示情報25bの位置、及び評価情報に基づく評価結果23aを生成する。評価ステップS140では、例えば教示情報25bの位置に対し、評価情報が評価指標の条件を満たしていれば、ユーザの指が適切に動作している旨の評価結果23aが生成される。なお、評価ステップS140では、例えば教示情報25bの位置を考慮せずに、評価結果23aが生成されてもよい。
【0111】
本変形例によれば、表示部209は、教示情報25bが仮想対象物情報25aを保持する状態を表示する。このため、理想的な手指の動作を、ユーザが理解し易くすることができる。これにより、ユーザの認識違いに起因する評価結果23aのバラつきを抑制することが可能となる。
【0112】
(評価結果23aの複数の変形例)
次に、上述した実施形態における評価結果23aの複数の変形例について説明する。評価結果23aは、評価情報の特徴に応じて異なる内容を示すことができる。以下では、各情報を取得するセンサの一例を記載しているが、必要な情報や用途に応じて公知のセンサを利用してもよい。
【0113】
<回転情報に基づく評価結果23a>
評価情報は、例えば
図7(a)に示すように、手指の回転角度θを示す回転情報を含む。回転情報は、例えばジャイロセンサ等の公知のセンサを用いて生成され、検出部1に上記センサが取付けられる。回転情報は、回転角度θに紐づく時間の情報を含んでもよく、例えば各速度や角運動量を含んでもよい。
【0114】
回転情報は、予め設定された中心軸を基準とした手指の回転角度θを示す。中心軸は、例えば2点間の距離(
図7(a)では距離d4)の中点に対して垂直方向に設定されるほか、用途に応じて任意に設定することができる。
【0115】
上記の場合、評価部23は、評価指標を参照し、距離情報及び回転情報を含む評価情報に基づく評価結果23aを生成する。このため、手指の回転度合いを考慮した動作を評価することができる。これにより、手指の動作をさらに高精度に評価することが可能となる。
【0116】
<圧力情報に基づく評価結果23a>
評価情報は、例えば
図7(b)に示すように、手指に作用する圧力Nを示す圧力情報を含む。圧力情報は、例えば圧力センサ等の公知のセンサを用いて生成され、検出部1に上記センサが取付けられる。圧力情報は、例えば圧力Nに紐づく時間の情報を含んでもよい。
【0117】
上記の場合、評価部23は、評価指標を参照し、圧力情報を含む評価情報に基づく評価結果23aを生成する。このため、指の加圧度合いを考慮した動作を評価することができる。これにより、手指の動作をさらに高精度に評価することが可能となる。
【0118】
<筋電位情報に基づく評価結果23a>
評価情報は、例えば手指の動作に伴い検出された筋電位を示す筋電位情報を含む。筋電位情報は、例えば筋電センサ等の公知のセンサを用いて生成され、検出部1に上記センサが取付けられる。筋電位情報は、例えば筋電位に紐づく時間の情報を含んでもよい。
【0119】
上記の場合、評価部23は、評価指標を参照し、筋電位情報を含む評価情報に基づく評価結果23aを生成する。このため、ユーザの筋肉の状態を考慮した動作を評価することができる。これにより、手指の動作をさらに高精度に評価することが可能となる。
【0120】
<母指先端と、他の指先端との間の距離に基づく評価結果23a>
距離情報は、例えば指のうち母指先端と、他の指先端との間の距離を示す第1距離を含む。この場合、評価部23は、評価指標を参照し、第1距離に基づくユーザのつまみ動作の度合いを評価した評価結果23aを生成する。このため、つまみ動作に特化した評価を実施することができる。これにより、ユーザの指の動作をさらに高精度に評価することが可能となる。
【0121】
<小指根本から手関節尺側まで、又は中指根本までの距離に基づく評価結果23a>
距離情報は、例えば指のうち小指根本から手関節尺側まで、又は中指根本までの距離を示す第2距離を含む。この場合、評価部23は、評価指標を参照し、第2距離に基づくユーザの母指内転動作の度合いを評価した評価結果23aを生成する。このため、母指内転動作に特化した評価を実施することができる。これにより、ユーザの指の動作をさらに高精度に評価することが可能となる。特に、手関節尺側又は中指根本は、他の部位よりも可動性が低いため、第2距離の基準位置として用いることで、母指内転動作の度合いを特定し易くすることが可能となる。
【0122】
<母指先端と、支指第2関節との間の距離に基づく評価結果23a>
距離情報は、例えば指のうち母指先端と、支指第2関節との間の距離を示す第3距離を含む。この場合、評価部23は、評価指標を参照し、第3距離に基づくユーザの鍵つまみ動作の度合いを評価した評価結果23aを生成する。このため、鍵つまみ動作に特化した評価を実施することができる。これにより、ユーザの指の動作をさらに高精度に評価することが可能となる。
【0123】
<支指と、中指との間の距離に基づく評価結果23a>
距離情報は、例えば指のうち支指と、中指との間の距離を示す第4距離を含む。この場合、評価部23は、評価指標を参照し、第4距離に基づくユーザの横つまみ動作の度合いを評価した評価結果23aを生成する。このため、横つまみ動作に特化した評価を実施することができる。これにより、ユーザの指の動作をさらに高精度に評価することが可能となる。
【0124】
<指の母指に対する支指の傾きに基づく評価結果23a>
位置情報は、例えば指の母指に対する支指の傾きを示す第1角度を含む。この場合、評価部23は、評価指標を参照し、第1角度に基づくユーザの母指の掌側外転動作の度合いを評価した評価結果23aを生成する。このため、母指の掌側外転動作に特化した評価を実施することができる。これにより、ユーザの指の動作をさらに高精度に評価することが可能となる。
【0125】
<母指先端、その他の指先端、及び中手指節間関節の位置関係に基づく評価結果23a>
位置情報は、例えば母指先端、その他の指先端(例えば示指先端)、及び中手指節間関節の位置関係を示す情報を含み、例えば中手指節間関節を基準として、母指先端に向かう方向に対し、その他の指先端に向かう方向の傾きを示す第2角度を含む。この場合、評価部23は、評価指標を参照し、第2角度に基づくユーザの指腹つまみ動作の度合いを評価した評価結果23aを生成する。このため、指腹つまみ動作に特化した評価を実施することができる。これにより、ユーザの指の動作をさらに高精度に評価することが可能となる。
【0126】
<支指先端と、中手指節間関節との間の距離に基づく評価結果23a>
距離情報は、例えば指のうち支指先端と、中手指節間関節との間の距離を示す第5距離を含む。この場合、評価部23は、評価指標を参照し、第5距離に基づくユーザの指腹つまみ動作の度合いを評価した評価結果23aを生成する。このため、指腹つまみ動作に特化した評価を実施することができる。これにより、ユーザの指の動作をさらに高精度に評価することが可能となる。なお、距離情報は、第5距離に加え、上述した第2角度を含んでもよい。この場合、ユーザの指腹つまみ動作をさらに高精度に評価することが可能となる。
【0127】
本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。このような新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0128】
1 :検出部
2 :支援装置
3 :通信網
4 :サーバ
11 :センサ
20 :筐体
21 :取得部
22 :出力部
22a :仮想手指
23 :評価部
23a :評価結果
24 :演算部
25 :記憶部
25a :仮想対象物情報
25b :教示情報
100 :支援システム
201 :CPU
202 :ROM
203 :RAM
204 :保存部
205 :I/F
206 :I/F
207 :I/F
208 :入力部
209 :表示部
210 :内部バス
S110 :検出ステップ
S120 :取得ステップ
S130 :表示ステップ
S140 :評価ステップ
S150 :演算ステップ