IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トヨタ自動車株式会社の特許一覧 ▶ 学校法人藤田学園の特許一覧

<>
  • 特開-重心表示システム 図1
  • 特開-重心表示システム 図2
  • 特開-重心表示システム 図3
  • 特開-重心表示システム 図4
  • 特開-重心表示システム 図5
  • 特開-重心表示システム 図6
  • 特開-重心表示システム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025002741
(43)【公開日】2025-01-09
(54)【発明の名称】重心表示システム
(51)【国際特許分類】
   A61B 5/11 20060101AFI20241226BHJP
   A61H 3/00 20060101ALI20241226BHJP
   A61H 1/02 20060101ALI20241226BHJP
【FI】
A61B5/11 210
A61H3/00 B
A61H1/02 R
【審査請求】未請求
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2023103082
(22)【出願日】2023-06-23
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(71)【出願人】
【識別番号】000125381
【氏名又は名称】学校法人藤田学園
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】加藤 禎章
(72)【発明者】
【氏名】向野 雅彦
(72)【発明者】
【氏名】平野 哲
【テーマコード(参考)】
4C038
4C046
【Fターム(参考)】
4C038VA04
4C038VA11
4C038VB15
4C038VC20
4C046AA08
4C046AA22
4C046AA42
4C046BB08
4C046CC01
4C046DD02
4C046DD13
4C046DD14
4C046DD34
4C046DD38
4C046DD39
4C046EE02
4C046EE03
4C046EE05
4C046EE08
4C046EE24
4C046EE27
4C046EE32
4C046FF09
(57)【要約】
【課題】トレッドミルに配設された荷重分布センサでの検知結果に基づきユーザの足裏の重心座標を算出し、表示する場合において、その重心座標の移動の視認性を向上させることが可能な重心表示システムを提供する。
【解決手段】重心表示システム10は、表示部11と、制御部12と、を備える。制御部12は、トレッドミルに配設されトレッドミルの上面にかかる荷重を測定する荷重分布センサから、荷重分布データを時系列で入力する。制御部12は、トレッドミル上でのユーザの移動速度を入力する。制御部12は、荷重分布データが示すユーザの片脚の足裏の重心座標の表示位置が、片脚についての1つの立脚期において時間によらず同じ基準位置に対する相対位置となるように、移動速度に基づき移動方向と逆方向に重心座標をずらした状態で、重心座標の軌跡を表示部11に表示させる。
【選択図】図1
【特許請求の範囲】
【請求項1】
表示部と、制御部と、を備え、
前記制御部は、
トレッドミルに配設され前記トレッドミルの上面にかかる荷重を測定する荷重分布センサから、荷重分布データを時系列で入力し、
前記トレッドミル上でのユーザの移動速度を入力し、
前記荷重分布データが示す前記ユーザの片脚の足裏の重心座標の表示位置が、前記片脚についての1つの立脚期において時間によらず同じ基準位置に対する相対位置となるように、前記移動速度に基づき移動方向と逆方向に前記重心座標をずらした状態で、前記重心座標の軌跡を前記表示部に表示させる、
重心表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、重心表示システムに関する。
【背景技術】
【0002】
特許文献1には、トレッドミルと、トレッドミルにかかる反力を測定する床反力センサと、ユーザの下肢に装着される脚ロボットと、脚ロボットが装着された下肢を撮影する距離計測センサと、ユーザに装着されるセンサを用いることなくユーザの足裏荷重を推定する荷重推定手段と、を備えた歩行リハビリシステムが開示されている。
【0003】
ここで、上記荷重推定手段は、床反力センサ及び距離計測センサを用いて測定した、床反力の合力、及びその重心位置、並びにユーザの左右の下腿のそれぞれの足裏荷重の重心位置、から床反力センサの測定値及び距離計測センサの計測結果に基づいてユーザの左右の下肢のそれぞれの足裏荷重を推定する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第6187208号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載のシステムでは、ユーザの左右の足裏のそれぞれにおける荷重の重心位置を算出することはできるが、その軌跡を表示することに関しては全く考慮されていない。
【0006】
そこで、本発明者は、トレッドミルに配設される荷重分布センサを用いてユーザの左右の足裏のそれぞれにおける荷重の重心位置を算出し、その軌跡を表示する方法について考察した。
【0007】
しかしながら、足裏のトレッドミル上での位置はユーザの移動に伴い進行方向逆向きに移動するため、足裏の重心位置を表示した場合には重心位置も同様に全体的に移動することになり、ユーザやその介助者にとって足裏の重心位置の軌跡が視認し難くなる。特に、通常、ユーザは踵から接地するため、トレッドミルの進行方向(前方から後方へ向かう方向)と足裏の重心位置の移動方向(足裏の後方から前方へ向かう方向)が相反することから、ユーザやその介助者が重心移動を視認し難い。そのため、例えば、介助者がユーザに誤ったアドバイスを与えてしまうこともある。
【0008】
本開示は、このような問題を解決するためになされたもので、その目的は、トレッドミルに配設された荷重分布センサでの検知結果に基づきユーザの足裏の重心座標を算出し、表示する場合において、その重心座標の移動の視認性を向上させることが可能な重心表示システムを提供することにある。
【課題を解決するための手段】
【0009】
本開示の一態様に係る重心表示システムは、表示部と、制御部と、を備え、前記制御部は、トレッドミルに配設され前記トレッドミルの上面にかかる荷重を測定する荷重分布センサから、荷重分布データを時系列で入力し、前記トレッドミル上でのユーザの移動速度を入力し、前記荷重分布データが示す前記ユーザの片脚の足裏の重心座標の表示位置が、前記片脚についての1つの立脚期において時間によらず同じ基準位置に対する相対位置となるように、前記移動速度に基づき移動方向と逆方向に前記重心座標をずらした状態で、前記重心座標の軌跡を前記表示部に表示させる、ものである。
【0010】
上記の重心表示システムでは、トレッドミルに配設された荷重分布センサでの検知結果に基づきユーザの足裏の重心座標を算出し、表示する場合において、上記の移動速度に基づき移動方向と逆方向に重心座標をずらした状態で、重心座標の軌跡を表示部に表示させるため、その重心座標の移動の視認性を向上させることができる。
【発明の効果】
【0011】
本開示により、トレッドミルに配設された荷重分布センサでの検知結果に基づきユーザの足裏の重心座標を算出し、表示する場合において、その重心座標の移動の視認性を向上させることが可能な重心表示システムを提供することができる。
【図面の簡単な説明】
【0012】
図1】実施の形態に係る重心表示システムの一構成例を示すブロック図である。
図2図1の重心表示システムを搭載できる歩行訓練装置の一構成例を示す概略側面図である。
図3図2の歩行訓練装置で表示される画像の一例を示す模式図である。
図4図2の歩行訓練装置における重心表示処理の一例を説明するためのフロー図である。
図5図4の重心表示処理における固定領域の切り出し処理及び表示座標の補正処理の一例を説明するための模式図である。
図6図4の重心表示処理で表示させる足裏の重心座標の移動を示す画像の一例を示す模式図である。
図7】比較例に係る重心表示処理での表示結果を示す模式図である。
【発明を実施するための形態】
【0013】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
【0014】
(実施の形態)
以下、図面を参照して実施の形態について説明する。
図1は、本実施の形態に係る重心表示システムの一構成例を示すブロック図である。
【0015】
図1に示すように、本実施の形態に係る重心表示システム10は、表示部11と、制御部12と、を備えることができる。表示部11は、例えば液晶パネル、有機エレクトロルミネッセンスパネル等の表示パネルとすることができる。
【0016】
制御部12は、トレッドミルに配設されトレッドミルの上面にかかる荷重を測定する荷重分布センサから、荷重分布データを時系列で入力する。荷重分布センサは、面圧分布センサ、床反力センサなどとすることができる。また、制御部12は、トレッドミル上でのユーザの移動速度を入力する。ユーザの移動速度は、トレッドミルにおけるベルトの移動速度を指す。なお、ユーザの移動速度は、歩行時にはユーザの歩行速度、走行時にはユーザの走行速度を指すことになる。
【0017】
制御部12は、荷重分布データが示すユーザの片脚の足裏の重心座標の表示位置が、片脚についての1つの立脚期において時間によらず同じ基準位置に対する相対位置となるように、移動速度に基づき移動方向と逆方向に重心座標をずらした状態で、重心座標の軌跡を表示部11に表示させる。具体的なずらす手法については図2図6を参照しながら後述する。ここで、荷重分布データが示すユーザの片脚の足裏の重心座標とは、その片脚の足裏にかかる荷重の重心座標を意味する。
【0018】
重心座標の軌跡は、重心座標の算出のタイミングで逐次更新して表示させることができる。例えば、制御部12は、最新の算出タイミングから所定回数算出された又は所定期間に算出された重心座標を表示部11に表示させることができ、同時に表示させる重心座標間でも時間経過が分かるように色を変化させることもできる。ユーザに分かり易くするために、少なくとも現時点の重心座標は過去の重心座標と区別できるように表示させることもできる。
【0019】
このような構成の重心表示システム10では、トレッドミルに配設された荷重分布センサでの検知結果に基づきユーザの足裏の重心座標を算出し、表示する場合において、上記の移動速度に基づき移動方向と逆方向に重心座標をずらした状態で、重心座標の軌跡を表示部に表示させるため、その重心座標の移動の視認性を向上させることができる。
【0020】
次に、制御部12による重心表示処理の具体例について、図2図6を参照しながら説明する。以下の具体例では、トレッドミルが図2に示す歩行訓練装置100に搭載され、重心表示システム10がその歩行訓練装置100に搭載される例を挙げて説明するが、このような例に限ったものではない。
【0021】
まず、図2及び図3を参照しながら、重心表示システムを搭載できる歩行訓練装置100の例について説明する。図2は、重心表示システム10を搭載できる歩行訓練装置100の一構成例を示す概略側面図である。また、図3は、歩行訓練装置100で表示される画像の一例を示す模式図である。
【0022】
図2に示す歩行訓練装置100は、一方の脚に麻痺を患う片麻痺患者である訓練者(ユーザ)Uが、訓練スタッフPTの指導に従って歩行訓練を行うための装置である。なお、訓練スタッフPTは、療法士(理学療法士)又は医師とすることができ、訓練者の訓練を指導又は介助などにより補助することから、訓練指導者、訓練介助者、訓練補助者などと称することもできる。ここで例示したように、訓練スタッフPTは人である。
【0023】
歩行訓練装置100は、下側フレーム101、上側フレーム102、前方フレーム103、及び後方フレーム104を備え、主にこれらにより全体的な形状が形成されている。また、歩行訓練装置100は、訓練者Uが歩行時に必要に応じて把持するための手摺り105を備えることができる。手摺り105は、訓練者Uが歩行する領域の両脇側において、例えば下側フレーム101に配設されることができる。
【0024】
また、歩行訓練装置100は、後述する訓練用モニタ115及びカメラ117を取り付けるための取付具106を備えることができる。訓練用モニタ115及びカメラ117を訓練者Uの前方に位置するように取り付けるために、取付具106は、その前方フレーム103に配設されることができる。また、上側フレーム102は、訓練者Uの頭上部前方付近で前側引張部111fを、頭上部付近でハーネス引張部111wを、頭上部後方付近で後側引張部111bを、それぞれ支持している。
【0025】
また、歩行訓練装置100は、各種モータや各種センサの制御を行う、例えばMPU(Micro Processing Unit)等で構成される全体制御部を収容する制御盤114を備えることができる。つまり、制御盤114の全体制御部は、歩行訓練装置100の制御可能な部位の制御も行う。そして、制御盤114は、全体制御部の一部として、図1の重心表示システム10、つまり表示部11及び制御部12を備えることができる。その他、制御盤114の全体制御部は、例えば、訓練スタッフPTによって設定された歩行速度に応じて、後述のベルト駆動部108を駆動させ、ベルト107の回転速度を調整することができる。
【0026】
制御盤114は、例えば下側フレーム101によって支持されることができる。制御盤114の全体制御部は、システムメモリから読み込んだ制御プログラムを実行することにより、装置全体の制御を実行することができる。
【0027】
また、歩行訓練装置100は、訓練者Uの歩行を促すトレッドミルを備える。トレッドミルは、無端のベルト107、つまりリング状のベルト107と、ベルト駆動部108とを備えることができる。ベルト駆動部108は、ベルト107を駆動して回転させるモータとその駆動回路とを含むことができる。歩行訓練を行う訓練者Uは、ベルト107に乗り、ベルト107の移動に合わせて歩行動作を試みる。なお、訓練スタッフPTは、例えば図2に示すように訓練者Uの背後のベルト107上に立って一緒に歩行動作を行うこともできるが、通常、ベルト107を跨いだ状態で立つなど、訓練者Uの介助を行い易い状態に居ることが好ましい。
【0028】
また、歩行訓練装置100は、上述の荷重分布センサ107sを備える。荷重分布センサ107sは、ベルト107の下に配設されることができる。荷重分布センサ107sは、例えば、電極がマトリックス状に配置された抵抗変化検出型の荷重検出シートとすることができる。
【0029】
荷重分布センサ107sは、訓練者Uの足裏が受ける垂直荷重の大きさと分布を検出し、荷重の重心座標、つまりCOP(Center Of Pressure:荷重中心)の座標を検出するように構成することができる。そして、荷重分布センサ107sは、検出した荷重分布データを、制御盤114の全体制御部に有線通信又は無線通信で送信する。COPの検出処理自体は、荷重分布センサ107sで検出された垂直荷重の大きさと分布を受けて、全体制御部で実行することもできる。
【0030】
また、歩行訓練装置100は、装具112、ハーネスワイヤ110w、及びハーネス引張部111wを主な構成要素とする、安全装置としての転倒防止ハーネス装置を備えることができる。装具112は、吊具であるハーネスワイヤ110wの一端に連結可能となっており、ハンガーベルトと称することもできる。訓練者Uは、後背部でハーネスワイヤ110wが連結されるように、装具112を装着する。ハーネスワイヤ110wは、一端が装具112に連結されており、他端がハーネス引張部111wに連結されている。ハーネス引張部111wは、ハーネスワイヤ110wを引張するためのモータとその駆動回路とを含むことができる。制御盤114の全体制御部は、ハーネス引張部111wの駆動回路へ駆動信号を送ることにより、ハーネスワイヤ110wの巻き取り又は繰り出しを制御する。
【0031】
転倒防止ハーネス装置は、このような構成により、訓練者Uが転倒しそうになった場合に、その動きを検知した制御盤114の全体制御部からの指示に従ってハーネスワイヤ110wを巻き取り、装具112により訓練者Uの上体を支えて、訓練者Uの転倒を防ぐ。なお、動きの検知は、装具112に備えられた、訓練者Uの姿勢を検出するための姿勢センサ(図示せず)で行うことができる。この姿勢センサは、例えばジャイロセンサと加速度センサを組み合わせたものであり、装具112が装着された腹部の重力方向に対する傾斜角を出力する。
【0032】
また、歩行訓練装置100は、訓練者Uの麻痺側の脚部である患脚に装着する歩行補助装置109を備えることができる。歩行補助装置109は、訓練者Uの患脚に装着され、患脚の膝関節における伸展及び屈曲の負荷を軽減することにより訓練者Uの歩行を補助する。
【0033】
歩行補助装置109は、例えば、膝関節の伸展運動及び屈曲運動を補助するための駆動力を発生させる不図示のモータを含みそのモータを制御する制御ユニット(図示せず)と、患脚の各部を支える複数のフレームと、を備えることができる。これらのフレームについては詳細に図示しないが、これらのフレームのうち隣り合うフレームは回動自在に連結されることができる。また、歩行補助装置109は、運脚に関する各種データを取得する各種センサを備え、取得した各種データを制御盤114の全体制御部に有線通信又は無線通信で送信することができる。また、歩行補助装置109は、そのフィードバックとしてモータの制御に関するデータを受信し、上記制御ユニットでそのデータに基づきモータを制御するように構成することもできる。
【0034】
また、上記複数のフレームのうちの一部のフレームには、前側ワイヤ110fと後側ワイヤ110bとが連結されることができる。前側ワイヤ110f、後側ワイヤ110bはそれぞれ、前側引張部111f、後側引張部111bに連結され、前側引張部111f、後側引張部111bにより巻き取り又は繰り出しが可能となっている。前側引張部111f、後側引張部111bは、それぞれ前側ワイヤ110f、後側ワイヤ110bを引張するためのモータとその駆動回路とを含むことができる。
【0035】
制御盤114の全体制御部は、前側引張部111f、後側引張部111bの駆動回路へ駆動信号を送ることにより、それぞれ前側ワイヤ110f、後側ワイヤ110bの巻き取り又は繰り出しを制御する。制御盤114の全体制御部は、例えば、荷重分布センサ107sの検出結果に基づく訓練者Uの足裏の重心座標及び後述のカメラ画像データの少なくとも一方に基づき、患脚が立脚状態から遊脚状態に切り替わるタイミングを同定し、そのタイミングに同期して前側ワイヤ110f及び後側ワイヤ110bの引張力を増減させることにより、患脚の振出し動作をアシストすることができる。
【0036】
このように、歩行訓練装置100は、前側引張部111fと後側引張部111bの連携した動作により、歩行補助装置109の荷重が患脚の負担とならないように当該荷重を相殺し、更には、設定の程度に応じて患脚の振出し動作をアシストすることができる。例えば、訓練スタッフPTは、オペレータとして、重度の麻痺を抱える訓練者Uに対しては、アシストするレベルを大きく設定する。アシストするレベルが大きく設定されると、前側引張部111fは、患脚の振出しタイミングに合わせて、比較的大きな力で前側ワイヤ110fを巻き取る。訓練が進み、アシストが必要でなくなったら、訓練スタッフPTは、アシストするレベルを最小に設定する。アシストするレベルが最小に設定されると、前側引張部111fは、患脚の振出しタイミングに合わせて、歩行補助装置109の自重をキャンセルするだけの力で前側ワイヤ110fを巻き取る。
【0037】
また、歩行訓練装置100は、表示部11の一例として訓練用モニタ115を備えることができる。訓練用モニタ115は、前方フレーム103に取り付けられており、例えば液晶パネル等の表示パネルとすることができる。訓練用モニタ115は、主に訓練者Uが自身の歩行状態やCOPの軌跡を視認するための表示装置である。訓練用モニタ115には、歩行訓練装置100から与えられるアドバイスや警告などの通知を表示させることもできる。ここで、アドバイスは歩行分析の結果をフィードバックしてどのような点に気を付けて歩行すればよいかを示すアドバイスとすることができる。
【0038】
また、訓練用モニタ115は、訓練スタッフPTが訓練者Uの歩行状態を視認するためにも用いることができる。訓練用モニタ115で表示させる画像等は、制御盤114の全体制御部から送信されることができる。上記歩行状態を視認させるための画像は、後述するカメラ117で撮影したリアルタイムの画像と、COPの軌跡を示すCOP画像20aとを含むことができ、トレーニングの進捗を示す情報や上記通知のための情報も含むことができる。
【0039】
また、歩行訓練装置100は、表示部11の一例として管理用モニタ116を備えることができる。管理用モニタ116は、例えば制御盤114の筐体などに取り付けられており、例えば液晶パネル等の表示パネルとすることができる。また、管理用モニタ116は、表示パネルにおいてタッチパネルを設けておくことができる。管理用モニタ116は、主に訓練スタッフPTが監視及び操作するための表示入力装置であるが、COPの軌跡を表示させることもできる。管理用モニタ116は、訓練設定に関する各種メニュー項目や、訓練時における各種パラメータ値、訓練結果などを表示し、各種メニュー項目や各種パラメータ値などの設定を受け付けることができる。管理用モニタ116で表示させる画像等は、制御盤114の全体制御部から送信され、管理用モニタ116のタッチパネルで受け取った操作信号は制御盤114の全体制御部に送信され、その操作信号に対応した制御が全体制御部でなされる。
【0040】
なお、歩行訓練装置100は、図示しない音声出力部を備えることもできる。訓練用モニタ115や管理用モニタ116で例示した表示部で表示させる通知内容は、この音声出力部からの音声出力で知らせること、あるいは表示部での画像出力及び音声出力部からの音声出力の双方で知らせることもできる。
【0041】
また、歩行訓練装置100はカメラ117を備える。カメラ117は、訓練者Uの全身を撮像するための撮像部としての機能を担う。カメラ117は、訓練用モニタ115の近傍に、訓練中の訓練者Uと相対するように設置されている。図2では、取付具106の下側にカメラ117が取り付けられた例を示しているが、カメラ117の取付位置これに限らない。
【0042】
カメラ117は、訓練中の訓練者Uの静止画や動画を撮影し、得られた画像信号を制御盤114の全体制御部に、有線通信又は無線通信により送信する。カメラ117は可視光又は赤外線のカメラとすることができる。カメラ117は、訓練者Uが適切な歩行範囲で歩行している場合において、訓練者Uの全身を捉えられる程度の画角となるような、レンズと撮像素子のセットを含む。この画角は、例えば、図2において2本の一点鎖線間の範囲で例示されるものである。撮像素子は、例えばCMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサとすることができ、結像面に結像した光学像を画像信号に変換する。
【0043】
全体制御部は、カメラ117から画像信号を受け取り、受け取った画像信号からその信号が示す画像データを生成する。なお、カメラ117が画像信号から画像データを生成し、全体制御部に渡すように構成することもできる。全体制御部は、画像データを訓練用モニタ115に表示させる制御を行う。これにより、訓練用モニタ115には、カメラ画像20のような訓練者Uの歩行状態が撮影された画像がリアルタイムで表示されることになる。
【0044】
訓練用モニタ115に表示させる画像データがカメラ117での撮影により得られたカメラ画像データであることを前提に説明しているが、カメラ画像データに限らず、深度データなどとすることもできる。深度データは、赤外線などのレーザー光を対象物に当てて対象物との距離を計測する深度センサや、3Dカメラなどで撮影して得られた各位置の深度を画像としてマッピングしたデータとすることができる。また、深度センサの一種とも言えるが、LiDARを用いて計測したLiDARデータを、入力される画像データとすることもできる。
【0045】
このように、歩行訓練装置100では、トレッドミル上で移動する訓練者Uを撮影又はセンシングすることにより画像データを得て、その画像データを訓練用モニタ115に表示させることができる。また、画像データは管理用モニタ116にも表示させることができる。
【0046】
なお、図3では、便宜上、図2の歩行訓練装置100に対して撮影された画像のうち、例えば訓練スタッフPT、管理用モニタ116、ワイヤ及びハーネスなど、一部の構成要素についての画像の図示を省略している。また、図3では、カメラ画像20にCOP軌跡を示す画像(以下、COP画像)20a及びユーザ骨格画像30を重畳させた画像を例示しているが、このような重畳がなされないこともできる。但し、COP画像20aを表示する機能は、本実施の形態の特徴の一つであり、備えておくものとする。なお、COP画像20a及びユーザ骨格画像30の少なくとも一方は管理用モニタ116に表示させることもできる。なお、ユーザ骨格画像30及びCOP画像20aについては後述する。
【0047】
また、制御盤114の全体制御部は、得られた画像データを含む情報に基づき歩行解析(歩行分析)を実行することもできる。以下、歩行分析を行うための骨格の認識処理やその結果に基づく歩行分析を制御部12が実行する例を挙げて説明する。
【0048】
制御部12は、画像データに基づき、ユーザである訓練者Uの骨格の位置を認識し、骨格の位置を示すユーザ骨格情報を得て、そのユーザ骨格情報からユーザ骨格画像30を生成し、訓練用モニタ115に表示させることができる。各骨格の位置は、画像データ上の座標として認識されることができる。
【0049】
画像データからの骨格の位置の認識方法は問わず、また、時間的に連続する複数の画像データから骨格の位置を認識することもできる。より簡単な認識方法としては、人物又は人物が装着する装具における骨格の位置に識別用のマーカを付与しておき、そのマーカを検出するといった方法が採用できるが、マーカの付与を行わずとも骨格の位置の認識は可能である。ユーザ骨格情報は、例えば、ディープラーニング等の機械学習を行った学習モデルに画像データを入力し、その出力結果として認識されることもできる。
【0050】
ユーザ骨格情報は、右肩関節、脊椎の肩部分、左肩関節、右股関節、脊椎の基礎部分、左股関節、右膝関節、左膝関節、右足関節、左足関節、首、鼻など複数の点(関節点等)で示される人物の骨格の位置を示す情報のうち、訓練者Uの骨格の位置を示す情報である。無論、これらの関節等の名称は一例として挙げているに過ぎない。なお、ユーザ骨格情報は、隣接する点間をそれぞれ結ぶ線も含むこと、あるいは点の代わりに上記線を含むこともできる。
【0051】
また、制御部12は、画像データに訓練スタッフPTを撮影したデータも含まれている場合には、訓練スタッフPTの骨格と区別して訓練者Uの骨格を抽出するとよく、この区別の手法は問わないが、例えば、次のようにして区別を行うことができる。即ち、制御部12は、検出された骨格群のうち、隣り合う骨格同士のうち同一人物の骨格であることが、予め定められた骨格情報に従って判別できる骨格同士を結ぶなどして、検出された骨格群を人物毎に区別することができる。そして、制御部12は、この区別の結果、前方にある骨格群でなる骨格情報を、訓練者Uの骨格群であるユーザ骨格情報であると特定し、ユーザ骨格画像30を生成する。例えば、骨格のうち右肩と左肩との間の距離が最も大きい骨格を特定することで、前方にある骨格群でなる骨格情報を決定することができる。
【0052】
あるいは、制御部12は、骨格同士を結ぶなどして得られた骨格情報のうち、多くの骨格が揃っている方を、訓練者Uの骨格であるとして、他の骨格(訓練スタッフPTの骨格)を除外することで、ユーザ骨格情報を特定し、ユーザ骨格画像30を生成することができる。なお、画像データが深度データを含む場合には、制御部12は深度が浅い方の骨格情報をユーザ骨格情報として特定することができる。
【0053】
但し、これらの例に限らず、制御部12は、画像データに基づき、訓練者Uの骨格の位置とその訓練者U以外の人物の骨格の位置とを区別して認識することができれば、訓練者Uの骨格群を抽出すること、つまり訓練スタッフPT等の他の人物の骨格群から区別して抽出することができる。
【0054】
そして、制御部12は、荷重分布センサ107sから荷重分布データを時系列で入力し、荷重分布データが示すユーザの片脚の足裏のCOP座標の表示位置が、片脚についての1つの立脚期において時間によらず同じ基準位置に対する相対位置となるように、移動速度(トレッドミル速度)に基づき移動方向と逆方向にCOP座標をずらした状態で、COP座標の軌跡を訓練用モニタ115に表示させる。上記の基準位置は、上記1つの立脚期において訓練者Uによる荷重が荷重分布センサ107sで最初に検出された位置とすることができる。この位置は通常の歩行では「踵」となるため、以下では基準位置が踵である例に挙げて説明するが、踵に限ったものではない。
【0055】
次に、図4図6を参照しながら、歩行訓練装置100におけるこのような重心表示処理の一例を説明する。図4は、図2の歩行訓練装置100における重心表示処理の一例を説明するためのフロー図である。図5は、図4の重心表示処理における固定領域の切り出し処理及び表示座標の補正処理の一例を説明するための模式図である。また、図6は、図4の重心表示処理で表示させる足裏のCOP座標の移動を示す画像の一例を示す模式図である。
【0056】
まず、制御部12は、歩行分析の対象となる画像データに基づき、訓練者Uの骨格を示すユーザ骨格情報を特定し、特定したユーザ骨格情報に基づき歩行分析を行う(ステップS1)。ここでの歩行分析は、単に足踏み中、つまり歩行中であるか否かと、対象の足の接地状態が分かれば精密な分析でなくてもよい。なお、対象の足とは、歩行補助装置109を装着している足とすること、あるいは逆の足とすること、あるいは両足とすることができる。
【0057】
次いで、制御部12は、歩行分析の結果が歩行している状態(歩行状態)であることを示しているか否かを判定し(ステップS2)、歩行状態でないことを示している場合(NOの場合)、処理を終了する。
【0058】
ステップS2でYESの場合、つまり歩行状態であることを示している場合、制御部12は、歩行分析の結果が接地している状態であることを示しているか否かを判定し(ステップS3)、非接地であることを示している場合(NOの場合)、ステップS1に戻る。
【0059】
ステップS3でYESの場合、つまり、接地している状態であることを示している場合、制御部12は、歩行分析の結果が接地直後であることを示しているか否かを判定する(ステップS4)。なお、ステップS2~S4の判定処理は同時に実行することもできる。
【0060】
ステップS4でYESの場合、つまり、接地直後であることを示している場合(YESの場合)、制御部12は、図5の上図に示すように、荷重分布センサ107sにおける接地部分51t1から踵の起点52t1を算出する(ステップS5)。踵の起点52t1は、最初に接地した点を推定して算出することができ、例えば接地直後の荷重分布のうちY座標の値が最も小さいライン上の中点を踵座標として算出することができる。ここで、起点52t1は時刻t1での起点を指す。
【0061】
次いで、制御部12は、起点52t1の座標に基づき表示対象となる固定領域DAt1を切り出す(ステップS6)。ここで、固定領域DAt1は時刻t1での固定領域を指す。固定領域DAt1は、例えば、起点52t1のX座標を中心としてX軸方向に所定幅をもち、起点52t11のY座標を中心としてY軸方向に他の所定幅をもつ領域として決定し、切り出すことができる。
【0062】
次いで、制御部12は、荷重分布に基づきCOPを算出し(ステップS7)、荷重分布とCOPとを示すCOP画像20aを生成して訓練用モニタ115に表示させる(ステップS8)。なお、図2では足先を上に向けて描いているが、足先を下に向けて描くこともできる。
【0063】
一方、ステップS4でNOの場合、つまり接地直後でないこと(接地直後以外の接地中であること)を示している場合、トレッドミルに流される(トレッドミル速度に依存して足が移動する)ため、トレッドミル速度に応じて表示領域をトラッキングすればよい。
【0064】
よって、この場合、まず制御部12は、訓練者Uの歩行速度であるトレッドミル速度Vtrを取得する(ステップS9)。そして、制御部12は、取得したトレッドミル速度Vtrと更新周期とに基づき、固定領域の移動量を算出し、表示させる座標を補正する(ステップS10)。図5の下図では、時刻t1から1更新周期後の時刻を時刻t2とし、時刻t2での起点、固定領域をそれぞれ起点52t2、固定領域DAt2として表現している。ステップS10で算出される移動量は、図5の下図に示す、固定領域DAt1から固定領域DAt2までの移動量Vt2-t1を指し、移動量Vt2-t1は起点52t1から起点52t2までの移動量を指すことができる。そして、移動量Vt2-t1は、トレッドミル速度×更新周期で算出することができる。
【0065】
ステップS10の後、制御部12は、ステップS7,S8の処理、つまりCOPの算出処理と荷重分布及びCOPの表示処理とを実行し、補正後の座標で生成されたCOP画像20aを訓練用モニタ115に表示させる。
【0066】
このように、制御部12は、上記1つの立脚期における基準位置としての、荷重分布データの切り出し範囲の基準となる位置の座標(この例では踵の座標)を、トレッドミル速度に基づき逆方向に移動量Vt2-t1だけずらして、固定領域DAt2の荷重分布データを切り出し、切り出し分布データを得る。次いで、制御部12は、この切り出し分布データに基づき、訓練者Uの基準位置に対するCOP座標を算出し、算出したCOP座標の軌跡を訓練用モニタ115に表示させる。このように、制御部12は、移動量Vt2-t1分だけ、描画させる固定領域をスライドさせて表示させる。
【0067】
ここで、COP座標は、上記1つの立脚期において訓練者Uによる荷重が最初に検出されてから所定期間が経過した以降の荷重分布データに基づき算出されることができる。このような算出手法では、接地から少し時間をおいてからのデータを用いて立脚期の重心を算出するため、踵での接地の衝撃により正しい重心が算出できないことを防ぐことができる。
【0068】
ステップS8において、COPの軌跡だけでなく、荷重分布も表示させることで、訓練者Uが足裏を全て着地した状態ではCOPをユーザの足裏(足底)の輪郭を疑似的に表示させることができ、一部のみ着地した状態でもその足裏の一部の輪郭を疑似的に表示させることができる。但し、荷重分布自体は表示しなくても、つまりCOP画像に荷重分布を含めなくてもよい。
【0069】
例えば、図2のCOP画像20aの拡大図を図6に示すように、ユーザの足裏のサイズ(全長)に対応する予め用意された足裏の輪郭の画像ARとともにCOPの軌跡の画像61を表示させておけばよい。画像ARと画像61との位置合わせは例えば踵の位置を合わせることで実現することができる。また、COP画像20aには、COPの軌跡が示すCOPの移動方向を矢印62として含めている。このように、制御部12は、COP座標の軌跡が示す重心移動方向を示す矢印を訓練用モニタ115に表示させることができる。但し、矢印62はCOP画像20aに含めないこともできる。無論、画像ARとともに荷重分布もCOP画像20aに含ませておくこともできる。
【0070】
ステップS8の処理後は、ステップS1に戻り、ステップS2でNOとなるまで処理を繰り返す。なお、COP画像20aの更新頻度(更新周期に対応)、ユーザ骨格画像30の更新頻度、及びカメラ画像20の更新頻度は互いに異なってもよい。例えば、カメラ画像20を撮影レートでリアルタイムに訓練用モニタ115に表示させながら、COP、ユーザ骨格を示す情報を得る度にそれぞれカメラ画像20にCOP画像20a、ユーザ骨格画像30を重畳して訓練用モニタ115に表示させることができる。
【0071】
上述の例では、荷重検出後に切り出し範囲を決定し、切り出し範囲の基準位置に対する、立脚期中の相対的なCOP座標を演算(時間ごとに接地部分のCOP座標を演算)し、相対的なCOP座標を表示させた。つまり、上述の例では、表示させるCOP座標を切り出し範囲における座標で計算した。しかし、制御部12は、トレッドミル速度に基づき移動方向と逆方向にCOP座標をずらしてCOP表示位置とすればよく、COPの表示座標の計算は、上述した例に限らず、例えば次のような代替手法で実行することができる。
【0072】
即ち、この代替手法では、まず、制御部12が、荷重分布データに基づき片脚の足裏のCOP座標を算出する。この例においても、COP座標は、上記1つの立脚期において訓練者Uによる荷重が最初に検出されてから所定期間が経過した以降の荷重分布データに基づき算出されることができる。次いで、制御部12は、上記1つの立脚期における基準位置としての、荷重分布データの重心表示対象範囲の基準となる位置の座標を、トレッドミル速度に基づき逆方向にずらすことで、算出したCOP座標をずらす(座標変換する)。そして、制御部12は、ずらした後(座標変換後)のCOP座標の軌跡を訓練用モニタ115に表示させる。このように、切り出し範囲(重心表示対象範囲)の決定は、演算後のCOP座標を座標変換するようにしておけば、COP座標の演算後でもよく、またそれらは同時並行処理でもよい。
【0073】
また、制御部12は、COP軌跡が示す重心移動方向(図6の矢印62の方向)が例えば所定角度内などの所定範囲内に収まらない場合、訓練者Uへの移動方法のアドバイスを、訓練用モニタ115に表示させることもできる。無論、制御部12は、上記の所定範囲内に収まる場合にも問題ない旨を訓練用モニタ115に表示させることもできる。ここで、上記の所定範囲は、例えば、訓練者Uについて設定された移動能力の目標値に応じて設定された範囲とすることができる。
【0074】
また、上述した例では、荷重分布データは、訓練者Uが片脚に脚ロボットの例である歩行補助装置109を装着した状態で入力されたデータとし、制御部12は、少なくとも歩行補助装置109を装着した側の脚の立脚期について、COP軌跡を訓練用モニタ115に表示させた。但し、双方の脚についてCOP軌跡を表示させることもでき、その場合には、右側、左側とで別の表示位置に表示させるとよい。
【0075】
以上、図1の重心表示システム10を備えた歩行訓練装置100の構成例及び処理例や、その応用例について説明した。上述したように、歩行訓練装置100では、荷重分布センサ107sでの検知結果に基づきユーザの足裏のCOP座標を算出し、表示する場合において、トレッドミル速度に基づき移動方向と逆方向にCOP座標をずらした状態で、COP座標の軌跡を訓練用モニタ115に表示させる。そのため、歩行訓練装置100では、そのCOP座標の移動の視認性を向上させることができる。
【0076】
この効果について、比較例を参照しながら補足する。
まず、比較例Aとして、足底センサを用いて足底センサからの荷重データに基づきCOP座標の軌跡をリアルタイムで描画して表示する例を挙げる。比較例Aでは、足底センサを用いるため重量が嵩み、歩行補助装置109を外した後に違和感を訓練者に与えることになる。これに対し、本実施の形態では、トレッドミル上の荷重分布センサ107sを用いているため、そのような違和感を訓練者Uに与えることがない。
【0077】
次に、図7を参照しながら、比較例Aとは異なる比較例Bに係る重心表示処理での表示結果を説明する。かかる比較例Bは、本実施の形態のような表示座標の補正処理を施さない処理の例である。図7は、比較例に係る重心表示処理での表示結果を示す模式図である。
【0078】
比較例Bでは、足底センサを用いる比較例Aと異なり、トレッドミル上の荷重分布センサ107scを用いることから、トレッドミル速度Vtrに基づき、足底に接するトレッドミル上の位置が移動に従いずれていく。そのため、比較例Bでは、COPの軌跡を示す画像も画像72t1から画像72t2のようにずれていき、足底の輪郭の画像も画像71t1から画像71t2のようにずれていき、COPの移動を視認し難くなる。これは、トレッドミルの進行方向(トレッドミル速度Vtrで示すように前方から後方へ向かう方向)とCOPの移動方向(足裏の後方から前方へ向かう方向)が相反するためである。
【0079】
これに対し、本実施の形態では、足が接地した際の部位を起点に表示する固定領域を切り出し、トレッドミル速度によって表示領域をトラッキングすることで、足部重心軌跡の視認性を向上させることができる。つまり、本実施の形態では、例えば、足が接地した際に接地した荷重座標後端(踵部分)を基準とした固定領域を切り出してCOPを表示し、また切り出す固定領域は駆動しているトレッドミル速度に応じて追従するため、重心移動の視認性向上が図れる。
【0080】
また、比較例Bでは、所定期間についてのCOPの軌跡が短く表示されてしまうことになるが、本実施の形態では、そのような問題も解消することができる。
【0081】
<代替例等>
上述した実施の形態における訓練スタッフPTが一人の人であることを前提として説明したが、複数の訓練スタッフであってもよく、また訓練スタッフがいないケースにも適用できる。また、訓練スタッフPTの代わりに、又は訓練スタッフPTに加えて、人以外の訓練アシスタント(機械的な、つまり人工の訓練アシスタント)を利用することもできる。人工の訓練アシスタントとしては、人型のロボットをはじめ、音声通知を行うための音声アシスタントプログラムや表示による通知を行うための表示アシスタントプログラムなど、様々なものが挙げられる。
【0082】
訓練アシスタントがプログラムである場合、歩行訓練装置100に実行可能に組み込んでおくことができるが、歩行訓練装置100と通信可能な携帯電話機(スマートフォンと称されるものも含む)、モバイルPC等の可搬型の端末や外部サーバなどに実行可能に組み込んでおくこともできる。また、人工の訓練アシスタントは、人工知能をもったプログラム(AIプログラム)を備えることもできる。
【0083】
また、上述した実施の形態においては、訓練者Uは、脚の一方を患う片麻痺患者であることを前提として説明したが、両脚に麻痺を患う患者に対しても歩行訓練装置100を適用し得る。その場合は、両脚に歩行補助装置109を装着して訓練を実施する。
【0084】
また、上記実施の形態において説明した歩行訓練装置100の構成や形状は問わず、重心表示システム10が搭載又は接続されていればよい。また、実施の形態において説明した重心表示システムは、機能を分散させて複数の装置で構成することもできる。同様に、歩行訓練装置は歩行訓練システムとして複数の装置で構成することができる。また、トレッドミルは、歩行訓練装置に搭載されるものに限らず、ルームランナー等の訓練支援装置に搭載されるものであってもよい。この場合も、訓練支援装置は訓練支援システムとして複数の装置で構成することができる。いずれのシステムについても、システムが複数の装置で構成される場合、装置間は有線又は無線で接続しておけばよい。
【0085】
上述した実施の形態において、カメラ117を備える歩行訓練装置100に重心表示システム10を組み込んだ構成例を挙げたように、本開示は、重心表示システムと、荷重分布センサが設置された上記のトレッドミルの本体とを備えた歩行訓練システムとしての形態も採り得る。この歩行訓練システムは、移動訓練システム、移動補助システムなどと称することもできる。この歩行訓練システムにおいて、制御部12で例示した制御部は、いずれの部位に配置されていてもよく、例えばトレッドミル本体に配置されていてもよい。
【0086】
また、上述した歩行訓練装置、訓練支援装置、あるいは、重心表示システムや歩行訓練システムを構成する1又は複数の装置はいずれも、例えば、プロセッサ、メモリ、及び通信インターフェース等を備えるようなハードウェア構成とすることができる。これらの装置は、プロセッサがメモリに記憶されたプログラムを読み込んで実行することにより実現される。
【0087】
このようなプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【符号の説明】
【0088】
10 重心表示システム
11 表示部
12 制御部
20 カメラ画像
20a COP画像
30 ユーザ骨格画像
61 COPの軌跡の画像
62 矢印
100 歩行訓練装置
101 下側フレーム
102 上側フレーム
103 前方フレーム
104 後方フレーム
105 手摺り
106 取付具
107 ベルト
107s 荷重分布センサ
108 ベルト駆動部
109 歩行補助装置
110b 後側ワイヤ
110f 前側ワイヤ
110w ハーネスワイヤ
111b 後側引張部
111f 前側引張部
111w ハーネス引張部
112 装具
114 制御盤
115 訓練用モニタ
116 管理用モニタ
117 カメラ
AR 足裏の輪郭の画像
PT 訓練スタッフ
U 訓練者
図1
図2
図3
図4
図5
図6
図7