(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025004346
(43)【公開日】2025-01-15
(54)【発明の名称】歩行訓練システム、制御方法、及び制御プログラム
(51)【国際特許分類】
A61H 1/02 20060101AFI20250107BHJP
G01L 5/00 20060101ALI20250107BHJP
G06N 3/0464 20230101ALI20250107BHJP
【FI】
A61H1/02 R
G01L5/00 101Z
G06N3/0464
【審査請求】未請求
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2023103970
(22)【出願日】2023-06-26
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】松本 大河
【テーマコード(参考)】
2F051
4C046
【Fターム(参考)】
2F051AA17
2F051BA07
4C046AA09
4C046AA25
4C046AA42
4C046BB07
4C046BB08
4C046CC01
4C046DD02
4C046DD14
4C046DD21
4C046DD38
4C046DD39
4C046DD41
4C046EE03
4C046EE04
4C046EE05
4C046EE09
4C046EE13
4C046FF03
4C046FF04
4C046FF09
4C046FF12
4C046FF26
4C046FF30
(57)【要約】
【課題】効果的な訓練を行うことが可能な歩行訓練システム、制御方法、及び制御プログラムを提供すること。
【解決手段】本実施の形態にかかる歩行訓練システム1は、ユーザから加わる荷重の分布を検出するため、2次元アレイ状に配列された複数のセンサを有する荷重分布センサと、前記センサのセンサ出力に基づく2次元データを入力として、畳み込み演算処理を行うCNNを有し、前記ユーザから受ける荷重値を推定する推論器と、を備えている。
【選択図】
図6
【特許請求の範囲】
【請求項1】
ユーザから加わる荷重の分布を検出するため、2次元アレイ状に配列された複数のセンサを有する荷重分布センサと、
前記センサのセンサ出力に基づく2次元データを入力として、畳み込み演算処理を行うCNNを有し、前記ユーザから受ける荷重値を推定する推論器と、を備えた歩行訓練システム。
【請求項2】
前記ユーザの脚部に装着されたロボット脚と、
前記荷重値に基づいて前記ロボット脚を駆動する駆動部と、をさらに備えている請求項1に記載の歩行訓練システム。
【請求項3】
ユーザが着地するベルトを有するトレッドミルをさらに備え、
前記センサが前記ベルトを介して加わる荷重を検出する請求項1、又は2に記載の歩行訓練システム。
【請求項4】
前記推論器が前記ベルトの移動速度を入力とする機械学習モデルである請求項3に記載の歩行訓練システム。
【請求項5】
前記2次元データを生成するために、前記荷重分布センサに含まれる全センサからのセンサ出力をトリミングする請求項1、又は2に記載の歩行訓練システム。
【請求項6】
前記センサ出力を圧力値に変換する圧力変換部をさらに備え、
前記推論器が前記圧力値で構成された2次元データを入力としている請求項1、又は2に記載の歩行訓練システム。
【請求項7】
靴のソールに設けられたインソールセンサのロードセルで検出された荷重値を教師データとする教師有り機械学習で前記推論器が構築されている請求項1、又は2に記載の歩行訓練システム。
【請求項8】
前記荷重分布センサが粘弾性シートを備え、
前記粘弾性シートの変形量に応じて荷重を検出する請求項1、又は2に記載の歩行訓練システム。
【請求項9】
ユーザから加わる荷重の分布を検出するために設けられ、2次元アレイ状に配列された複数のセンサを有する荷重分布センサからのセンサ出力を取得し、
畳み込み演算処理を行うCNNを有する推論器に前記センサ出力に基づく2次元データを入力して、前記ユーザから受ける荷重値を推定する歩行訓練システムの制御方法。
【請求項10】
前記歩行訓練システムは、前記ユーザの脚部に装着されたロボット脚を備え、
前記荷重値に基づいて前記ロボット脚を駆動する請求項9に記載の歩行訓練システムの制御方法。
【請求項11】
前記歩行訓練システムは、ユーザが着地するベルトを有するトレッドミルをさらに備え、
前記センサが前記ベルトを介して加わる荷重を検出する請求項9、又は10に記載の歩行訓練システムの制御方法。
【請求項12】
前記推論器が前記ベルトの移動速度を入力とする機械学習モデルである請求項11に記載の歩行訓練システムの制御方法。
【請求項13】
前記2次元データを生成するために、前記荷重分布センサに含まれる全センサからのセンサ出力をトリミングする請求項9、又は10に記載の歩行訓練システムの制御方法。
【請求項14】
前記センサ出力を圧力値に変換し、
前記推論器が前記圧力値で構成された2次元データを入力としている請求項9、又は10に記載の歩行訓練システムの制御方法。
【請求項15】
靴のソールに設けられたインソールセンサのロードセルで検出された荷重値を教師データとする教師有り機械学習で前記推論器が構築されている請求項9、又は10に記載の歩行訓練システムの制御方法。
【請求項16】
前記荷重分布センサが粘弾性シートを備え、
前記粘弾性シートの変形量に応じて荷重を検出する請求項9、又は10に記載の歩行訓練システムの制御方法。
【請求項17】
歩行訓練システムを制御する制御方法をコンピュータに実行させるための制御プログラムであって、
前記制御方法は、
ユーザから加わる荷重の分布を検出するために設けられ、2次元アレイ状に配列された複数のセンサを有する荷重分布センサからのセンサ出力を取得し、
畳み込み演算処理を行うCNNを有する推論器に前記センサ出力に基づく2次元データを入力して、前記ユーザから受ける荷重値を推定する、制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、歩行訓練システム、制御方法、及び制御プログラムに関する。
【背景技術】
【0002】
特許文献1には、圧力分布検出装置が開示されている。この圧力分布検出装置は、複数の駆動コイルと、複数の検出コイルとを備えている。さらに、駆動コイルと検出コイルと間の距離を一定に保つスペーサ手段とを備えている。駆動コイルはクッション材と電磁シールド体が設けられている。検出コイルには、クッション材と電磁結合可変体が設けられている。電磁結合可変体は、シート状の磁性体シートとなっている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
圧力分布を検出する場合、粘弾性体の変形量(変形応力)により、圧力(荷重)を検出する。粘弾性体をシート状に形成した場合,実際に荷重が加わった箇所の周辺領域についても粘弾性体が変形してしまう。荷重が加わっていない周辺領域にも荷重が検出されるため、高い精度で荷重を検出することが困難である。
【0005】
また、トレッドミルなどを用いた歩行訓練装置では、荷重分布に応じて歩行周期におけるタイミングを推定している。そさいて、歩行周期におけるタイミングに応じて、駆動制御を行っている。したがって、荷重分布を高い精度で検出することで、より適切な駆動制御を行うことができる。
【0006】
本発明は、以上の背景に鑑みなされたものであり、適切に荷重値を算出することができる歩行訓練システム、制御方法、及び制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本実施の形態にかかる歩行訓練システムは、ユーザから加わる荷重の分布を検出するため、2次元アレイ状に配列された複数のセンサを有する荷重分布センサと、前記センサのセンサ出力に基づく2次元データを入力として、畳み込み演算処理を行うCNNを有し、前記ユーザから受ける荷重値を推定する推論器と、を備えている。
【0008】
上記の歩行訓練システムは、前記ユーザの脚部に装着されたロボット脚と、前記荷重値に基づいて前記ロボット脚を駆動する駆動部と、をさらに備えていてもよい。
【0009】
上記の歩行訓練システムは、ユーザが着地するベルトを有するトレッドミルをさらに備え、前記センサが前記ベルトを介して加わる荷重を検出するようにしてもよい。
【0010】
上記の歩行訓練システムにおいて、前記推論器が前記ベルトの移動速度を入力とする機械学習モデルであるようにしてもよい。
【0011】
上記の歩行訓練システムは、前記2次元データを生成するために、前記荷重分布センサに含まれる全センサからのセンサ出力をトリミングするようにしてもよい。
【0012】
上記の歩行訓練システムは、前記センサ出力を圧力値に変換する圧力変換部をさらに備え、前記推論器が前記圧力値で構成された2次元データを入力としていてもよい。
【0013】
上記の歩行訓練システムは、靴のソールに設けられたインソールセンサのロードセルで検出された荷重値を教師データとする教師有り機械学習で前記推論器が構築されていてもよい。
【0014】
上記の歩行訓練システムは、前記荷重分布センサが粘弾性シートを備え、前記粘弾性シートの変形量に応じて荷重を検出するようにしてもよい。
【0015】
本実施の形態にかかる歩行訓練システムの制御方法は、ユーザから加わる荷重の分布を検出するために設けられ、2次元アレイ状に配列された複数のセンサを有する荷重分布センサからのセンサ出力を取得し、畳み込み演算処理を行うCNNを有する推論器に前記センサ出力に基づく2次元データを入力して、前記ユーザから受ける荷重値を推定する。
【0016】
上記の歩行訓練システムの制御方法において、前記歩行訓練システムは、前記ユーザの脚部に装着されたロボット脚を備え、前記荷重値に基づいて前記ロボット脚を制御するようにしてもよい。
【0017】
上記の歩行訓練システムの制御方法において、前記歩行訓練システムは、ユーザが着地するベルトを有するトレッドミルをさらに備え、前記センサが前記ベルトを介して加わる荷重を検出するようにしてもよい。
【0018】
上記の歩行訓練システムの制御方法において、前記推論器が前記ベルトの移動速度を入力とする機械学習モデルであってもよい。
【0019】
上記の歩行訓練システムの制御方法において、前記2次元データを生成するために、前記荷重分布センサに含まれる全センサからのセンサ出力をトリミングするようにしてもよい。
【0020】
上記の歩行訓練システムの制御方法において、前記センサ出力を圧力値に変換し、前記推論器が前記圧力値で構成された2次元データを入力としていてもよい。
【0021】
上記の歩行訓練システムの制御方法において、靴のソールに設けられたインソールセンサのロードセルで検出された荷重値を教師データとする教師有り機械学習で前記推論器が構築されていてもよい。
【0022】
上記の歩行訓練システムの制御方法において、前記荷重分布センサが粘弾性シートを備え、前記粘弾性シートの変形量に応じて荷重を検出するようにしてもよい。
【0023】
本実施の形態に係るプログラムは、歩行訓練システムを制御する制御方法をコンピュータに実行させるための制御プログラムであって、前記制御方法は、ユーザから加わる荷重の分布を検出するために設けられ、2次元アレイ状に配列された複数のセンサを有する荷重分布センサからのセンサ出力を取得し、畳み込み演算処理を行うCNNを有する推論器に前記センサ出力に基づく2次元データを入力して、前記ユーザから受ける荷重値を推定する。
【発明の効果】
【0024】
本開示によれば、適切に荷重値を算出することができる歩行訓練システム、制御方法、及び制御プログラムを提供することができる。
【図面の簡単な説明】
【0025】
【
図2】トレッドミルの構成を示す側面断面図である。
【
図3】荷重分布センサとベルトの構成を模式的に示す上面図である。
【
図4】荷重分布センサにおける粘弾性シートの変形を模式的に示す断面図である。
【
図6】システムの制御系の主要構成を示す機能ブロック図である。
【
図7】推論器に用いられる学習モデルを説明するための図である。
【
図8】インソールセンサであるロードセルの配置を模式的に示す図である。
【
図9】通常歩行時の荷重値の時間変化を示すグラフである。
【
図10】かかと歩行時の荷重値の時間変化を示すグラフである。
【発明を実施するための形態】
【0026】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【0027】
(システム構成)
図1は、実施形態にかかるリハビリ支援システムの一構成例を示す全体概念図である。本実施形態にかかるリハビリ支援システム(歩行訓練システム1)は、主に、歩行訓練装置100と、脚装具120によって構成される。
【0028】
歩行訓練装置100は、訓練者(ユーザ)900のリハビリ(リハビリテーション)を支援するリハビリ支援装置の一具体例である。歩行訓練装置100は、一方の脚に麻痺を患う片麻痺患者である訓練者900が、訓練スタッフ901の指導に従って歩行訓練を行うための装置である。ここで、訓練スタッフ901は、療法士(理学療法士)又は医師とすることができ、訓練者の訓練を指導又は介助などにより補助することから、訓練指導者、訓練介助者、訓練補助者などと称することもできる。
【0029】
歩行訓練装置100は、主に、全体の骨格を成すフレーム130に取り付けられた制御盤133と、訓練者900が歩行するトレッドミル131と、を備える。さらに、脚装具120は、訓練者900の麻痺側の脚部である患脚に装着される。
図1では、脚装具120は、訓練者900の右脚に装着されている。脚装具120は、アクチュエータなどを備えたロボット脚である。例えば、脚装具120は、訓練者900の膝関節動作をアシストする関節駆動機構を有している。
【0030】
フレーム130は、床面に設置されるトレッドミル131上に立設されている。トレッドミル131は、不図示のモータによりリング状のベルト132を回転させる。トレッドミル131は、訓練者900の歩行を促す装置であり、歩行訓練を行う訓練者900は、ベルト132に乗り、ベルト132の移動に合わせて歩行動作を試みる。なお、訓練スタッフ901は、例えば
図1に示すように訓練者900の背後のベルト132上に立って一緒に歩行動作を行うこともできるが、通常、ベルト132を跨いだ状態で立つなど、訓練者900の介助を行い易い状態に居ることが好ましい。トレッドミル131は、後述するように、荷重分布センサを有している。
【0031】
フレーム130は、制御盤133や、訓練用モニタ138を支持している。制御盤133は、モータやセンサの制御を行う全体制御部210を収容する。訓練用モニタ138は、例えば、液晶パネルであり、訓練の進捗状況等を訓練者900へ提示する。また、フレーム130は、訓練者900の頭上部前方付近で前側引張部135を、頭上部付近でハーネス引張部112を、頭上部後方付近で後側引張部137を、それぞれ支持している。また、フレーム130は、訓練者900が掴むための手摺り130aを含む。
【0032】
手摺り130aは、訓練者900の左右両側に配置されている。それぞれの手摺り130aは、訓練者900の歩行方向と平行な方向に配置されている。手摺り130aは、上下位置、及び左右位置が調整可能となっている。つまり、手摺り130aは、その高さ及び幅を変更する機構を含むことができる。さらに、手摺り130aは、例えば歩行方向の前方側と後方側とで高さを異ならせるように調整することで、その傾斜角度を変更できるように構成することもできる。例えば、手摺り130aは、歩行方向に沿って徐々に高くなるような傾斜角度を付すことができる。
【0033】
また、手摺り130aには、訓練者900から受ける荷重を検出する手摺りセンサ218が設けられている。例えば、手摺りセンサ218は、電極がマトリックス状に配置された抵抗変化検出型の荷重検出シートとすることができる。また、手摺りセンサ218は、3軸の加速度センサ(x,y,z)と3軸のジャイロセンサ(roll,pitch,yaw)とを複合させた6軸センサとすることもできる。但し、手摺りセンサ218の種類や設置位置は問わない。
【0034】
カメラ140は、訓練者900の全身を観察するための撮像部としての機能を担う。カメラ140は、訓練用モニタ138の近傍に、訓練者と相対するように設置されている。カメラ140は、訓練中の訓練者900の静止画や動画を撮影する。カメラ140は、訓練者900の全身を捉えられる程度の画角となるような、レンズと撮像素子のセットを含む。撮像素子は、例えばCMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサであり、結像面に結像した光学像を画像信号に変換する。
【0035】
前側引張部135と後側引張部137の連携した動作により、脚装具120の荷重が患脚の負担とならないように当該荷重を相殺し、更には、設定の程度に応じて患脚の振出し動作をアシストする。
【0036】
前側ワイヤ134は、一端が前側引張部135の巻取機構に連結されており、他端が脚装具120に連結されている。前側引張部135の巻取機構は、不図示のモータをオン/オフさせることにより、患脚の動きに応じて前側ワイヤ134を巻き取ったり繰り出したりする。同様に、後側ワイヤ136は、一端が後側引張部137の巻取機構に連結されており、他端が脚装具120に連結されている。後側引張部137の巻取機構は、不図示のモータをオン/オフさせることにより、患脚の動きに応じて後側ワイヤ136を巻き取ったり繰り出したりする。このような前側引張部135と後側引張部137の連携した動作により、脚装具120の荷重が患脚の負担とならないように当該荷重を相殺し、更には、設定の程度に応じて患脚の振出し動作をアシストする。
【0037】
前側ワイヤ134、及び前側引張部135は訓練者900の脚を上方かつ前方に引張する第1引張手段となる。後側ワイヤ136、及び後側引張部137は訓練者900の脚を上方かつ後方に引張する第2引張手段となる。前側引張部135、及び後側引張部137は後述するように歩行フェーズに応じた引張力で、前側ワイヤ134と後側ワイヤ136を引っ張る。また、歩行フェーズに応じて、引張力の動作パターンが設定されていてもよい。
【0038】
例えば、訓練スタッフ901は、オペレータとして、重度の麻痺を抱える訓練者に対しては、アシストするレベルを大きく設定する。アシストするレベルが大きく設定されると、前側引張部135は、患脚の振出しタイミングに合わせて、比較的大きな力で前側ワイヤ134を巻き取る。訓練が進み、アシストが必要でなくなったら、訓練スタッフ901は、アシストするレベルを最小に設定する。アシストするレベルが最小に設定されると、前側引張部135は、患脚の振出しタイミングに合わせて、脚装具120の自重をキャンセルするだけの力で前側ワイヤ134を巻き取る。
【0039】
歩行訓練装置100は、装具110、ハーネスワイヤ111、及びハーネス引張部112を主な構成要素とする、安全装置としての転倒防止ハーネス装置を備える。装具110は、訓練者900の腹部に巻き付けられるベルトであり、例えば面ファスナによって腰部に固定される。装具110は、吊具であるハーネスワイヤ111の一端を連結する連結フック110aを備え、ハンガーベルトと称することもできる。訓練者900は、連結フック110aが後背部に位置するように、装具110を装着する。
【0040】
ハーネスワイヤ111は、一端が装具110の連結フック110aに連結されており、他端がハーネス引張部112の巻取機構に連結されている。ハーネス引張部112の巻取機構は、不図示のモータをオン/オフさせることにより、ハーネスワイヤ111を巻き取ったり繰り出したりする。このような構成により、転倒防止ハーネス装置は、訓練者900が転倒しそうになった場合に、その動きを検知した全体制御部210の指示に従ってハーネスワイヤ111を巻き取り、装具110により訓練者900の上体を支えて、訓練者900の転倒を防ぐ。
【0041】
装具110は、訓練者900の姿勢を検出するための姿勢センサ217を備える。姿勢センサ217は、例えばジャイロセンサと加速度センサを組み合わせたものであり、装具110が装着された腹部の重力方向に対する傾斜角を出力する。
【0042】
管理用モニタ139は、フレーム130に取り付けられており、主に訓練スタッフ901が監視及び操作するための表示入力装置である。管理用モニタ139は、例えば液晶パネルであり、その表面にはタッチパネルが設けられている。管理用モニタ139は、訓練設定に関する各種メニュー項目や、訓練時における各種パラメータ値、訓練結果などを表示する。また、管理用モニタ139の近傍には、非常停止ボタン232が設けられている。訓練スタッフ901が非常停止ボタン232を押すことで、歩行訓練装置100が非常停止する。
【0043】
全体制御部210は、訓練設定に関する設定パラメータ、訓練結果として脚装具120から出力された運脚に関する各種データなどを含みうるリハビリデータを生成する。このリハビリデータには、訓練スタッフ901又はその経験年数や熟練度等を示すデータ、訓練者900の症状、歩行能力、回復度等を示すデータ、脚装具120の外部に設けられたセンサ等から出力された各種データなどを含むことができる。
【0044】
全体制御部210の少なくとも一部の制御は、コンピュータプログラムによって実行されてもよい。例えば、全体制御部210は、プログラムを格納するメモリと、プログラムを実行するプロセッサなどを備えている。
【0045】
全体制御部210は、荷重分布センサでの検出結果に基づいて、モータなどのアクチュエータを制御することができる。例えば、全体制御部210は、荷重分布センサで検出された荷重の変化に基づいて、歩行サイクルのフェーズ(タイミング)を判定する。全体制御部210は、判定結果に基づいて、アクチュエータを制御するための制御信号を生成する。脚装具120の関節駆動機構が制御信号に基づいて、膝関節のアシスト動作を行う。このようにすることで、適切なアシスト動作を行うことができるため、効果的な訓練が可能となる。また、全体制御部210は、歩行サイクルのフェーズに応じて,前側引張部135と後側引張部137とを制御してもよい。荷重分布センサの検出結果に基づく,制御については、後述する。
【0046】
次に、
図2、
図3を用いて、トレッドミル131に設けられた荷重分布センサの構成について説明する。
図2はトレッドミル131と荷重分布センサ152の構成を示す側面断面図である。
図3は、トレッドミル131における荷重分布センサ152の配置を模式的に示す上面図である。
【0047】
トレッドミル131は、リング状のベルト(移動板)132、プーリー153、及び、図示しないモータを少なくとも備える。ベルト132は無端ベルトであり、側面視において、リング状に形成されている。リング状のベルト132の内側には、2つのプーリー153が配置されている。2つのプーリー153が前後方向に離れて配置されている。プーリー153の回転軸は左右方向と平行になっている。したがって、モータがプーリー153を回転させると、ベルト132が前後方向に駆動する。訓練者900又は訓練スタッフ901が移動速度を設定すると、ベルト132が移動速度で移動するように、モータがプーリー153を回転させる。
【0048】
また、リング状のベルト132の内側(訓練者900が搭乗する面のベルト132の下側)には、ベルト132に連動しないように荷重分布センサ152が配置されている。荷重分布センサ152は無端ベルトのリングの内側に配置される。荷重分布センサ152は、複数のセンサ155によって構成されている。複数のセンサ155は、歩行訓練中の訓練者900の足裏を支持するベルト132の下側にマトリックス状に配置されている。荷重分布センサ152は、複数のセンサ155を用いることにより、ベルト132に搭乗する訓練者900の足FTから受ける面圧の分布(荷重分布)を検出することができる。
【0049】
図3に示すように、荷重分布センサ152は、マトリックス状に配置された複数のセンサ155を有している。荷重分布センサ152は、水平面に平行なシート形状を有している。センサ155は、電磁誘導方式、電気抵抗式、静電容量式、又はロードセル式などのものを用いることができる。もちろん、センサ155のタイプは特に限定されるものではない。
【0050】
例えば、荷重分布センサ152は左右方向にm(mは2以上の整数)個、前後方向にn(nは2以上の整数)個のセンサ155が配置されているとする。
図3において、左前方の角にあるセンサ155のXY座標を(1,1)とし、左後方の角にあるセンサ155のXY座標を(1,n)とする。右前方の角にあるセンサ155のXY座標を(m,1)とし、右後方の角にあるセンサ155のXY座標を(m,n)とする。各センサ155は同じ大きさを有している。このように、センサ155毎にXYアドレス(XY座標)が割り当てられている。
【0051】
複数のセンサ155は前後方向及び左右方向に等間隔に配置されている。したがって、荷重分布センサ152のセンシング領域は、矩形状になっている。よって、荷重分布センサ152からの出力は、m×n個の2次元マップデータとなる。
【0052】
1つのセンサ155をセルともいう。そして、荷重分布センサ152はセル毎に圧力(荷重)を検出する。荷重分布センサ152は、複数のセンサ155の出力を順次読み出していくことで、訓練者900から受ける荷重分布を検出する。それぞれのセンサ155は、足FTからベルト132を介して受ける圧力の2次元分布を検出する。m×n個の2次元データを1フレームのデータともいう。
【0053】
全体制御部210は、荷重分布センサ152の検出結果に基づいて、足FTからの荷重値を推定する。ここでの荷重値は、足FTの全体から受ける総荷重を示す。例えば、変換マップを用いて複数のセンサ155で検出された出力値を圧力に変換することができる。そして,圧力を積分することで荷重値に変換することができる。全体制御部210は、荷重値に基づいて、歩行フェーズに関する判定を行う。全体制御部210は、例えば、立脚から遊脚に移行するタイミングと判定する。
【0054】
荷重分布センサ152は、シート状のセンサであり、粘弾性体を有している。例えば、
図4に示すように、荷重分布センサ152は基板1511と、粘弾性シート1512と導電シート1513とを有している。なお、
図4は、荷重分布センサ152の断面構成を模式的に示す側面断面図である。ここでは、荷重分布センサ152は電磁誘導方式のセンサであるとして説明する。また、
図4ではトレッドミル131,及びベルト132などを省略している。
【0055】
荷重分布センサ152は基板1511と、粘弾性シート1512と導電シート1513とを備えている。下面側から、基板1511と、粘弾性シート1512と導電シート1513の順で配置されている。荷重分布センサ152の導電シート1513と基板1511との間に、粘弾性シート1512が設けられている。粘弾性シート1512は、例えば、発泡ウレタンなどの樹脂材料で形成されている。上下方向が、粘弾性シート1512の厚さ方向となっている。
【0056】
基板1511は、複数のコイルを有するコイルパターンを有している。コイルパターンはセル毎に設けられたコイルを有している。基板1511では、複数のコイルがアレイ状に配列されている。導電シート1513は、例えば、アルミシートで有り、複数のコイルを覆うように、荷重分布センサ152の全体に渡って形成されている。荷重に応じて、導電シート1513と基板1511との距離が変化する。つまり、荷重が大きいほど、粘弾性シート1512が押し潰されて、薄くなる。粘弾性シート1512が変形すると、基板1511の電気的特性が変化する。
【0057】
荷重分布センサ152は、電磁誘導などの電気的特性をセル毎に測定することで、変形量を求めることができる。荷重分布センサ152は、厚さ方向における粘弾性シート1512の変形量を荷重に変換する。セル毎に変形量を荷重に変換することができる。このように、粘弾性シート1512の変形量に応じて電気的特性が変化するため、各センサ155が荷重を検出することができる。もちろん、荷重分布センサ152として、電磁誘導方式に限らず、容量方式、電気抵抗方式などの荷重分布センサを用いても良い。
【0058】
以下、粘弾性シート1512において、実際に荷重が印加されている領域を印加領域A3とする。印加領域A3は、真上に足FTが載っている領域である。印加領域A3は足のFTのサイズに対応する。印加領域A3の周辺にある領域を周辺領域A2とする。周辺領域A2の外側の領域を外側領域A1とする。外側領域A1は粘弾性シート1512が変形していない領域である。印加領域A3、外側領域A1、周辺領域A2のそれぞれは、それぞれ複数のセンサ155を含んでいる。
【0059】
印加領域A3に荷重が印加されると、周辺領域A2についても、粘弾性シート1512が変形する。つまり、周辺領域A2では、外側領域A1よりも基板1511と導電シート1513との距離が小さくなる。周辺領域A2では、荷重を受けていないが、粘弾性シート1512が変形してしまう。このように、実際の荷重を受けている印加領域A3の周辺領域A2についても、荷重が検出されてしまう(以下、巻き込み現象とも言う)。さらに、周辺領域A2では、印加領域A3に近いほど、変形量が大きくなる。
【0060】
図5は、センサ155のセンサ出力の値を模式的に示すマップである。
図5では、各センサ155のセンサ出力を数値で示している。つまり、変形量が大きいほど,センサ出力の値が大きくなる。センサ155の出力値は、A/D(Analog to Digital)コンバータなどによって、例えば、8ビットや16ビットのデジタル値に変換されている。
【0061】
粘弾性シート1512が変形していない外側領域A1では、出力が0となる。印加領域A3では荷重に応じて、センサ出力の値が変化する。周辺領域A2では、隣接する印加領域A3の荷重に応じて、センサ出力の値が変化する。
【0062】
このように、実際の足FTの接地サイズよりも広い領域で、センサ155が圧力を検出する。実際に足FTの直下にあるセルの数よりも多い数のセルで粘弾性シート1512が変形して、圧力(荷重)を検出する。換言すると、各センサ155の出力値のみでは、押し潰されているセルと押し潰されていないセルを区別することができない。
【0063】
したがって、荷重値を精度よく検出できないおそれがある。荷重値の検出精度が低い場合、脚装具120の駆動タイミングが歩行周期のタイミングからずれてしまうおそれがある。そこで、本実施の形態では、荷重値を高い精度で推定するため、以下に示す処理を行っている。以下,本実施の形態にかかる処理について説明する。
【0064】
図6は、本実施形態にかかる制御を説明するための機能ブロック部である。全体制御部210は、センサ出力取得部171と、推論器172と、判定部175と、駆動制御部176とを備えている。関節駆動部221は、脚装具120に設けられている。具体的には、関節駆動部221は、訓練者900の膝関節動作をアシストするためのモータや回転機構を備えている。
【0065】
トレッドミル駆動部131aはトレッドミル131を駆動する。トレッドミル駆動部131aは、プーリー153を回転させるためのモータ等を有している。訓練スタッフ901等によって設定された移動速度でベルト132が移動するように、トレッドミル131が動作する。
【0066】
トレッドミル131には、荷重分布センサ152が設けられている。荷重分布センサ152は、全体制御部210に検出結果を示す検出信号(センサ出力)を出力する。センサ出力はデジタルデータでもよく、アナログデータでもよい。つまり、荷重分布センサ152はアナログの検出信号をデジタルデータに変換するA/Dコンバータを有していてもよい。あるいは、センサ出力取得部171がA/Dコンバータを有していてもよい。
【0067】
センサ出力は、
図5に示したように、セル毎の出力値を含んでいる。センサ出力取得部171は、荷重分布センサ152からのセンサ出力をセル毎に取得する。つまり、センサ出力を示すデータには、セルのアドレスと、出力値が対応付けられている。センサ出力取得部171は、荷重分布センサ152の読み出し順にセンサ出力のデータを取得してもよい。全セルからのセンサ出力が1フレームのデータとなる。荷重分布センサ152は、1ライン毎、又は1セル毎に、データを読み出す。
【0068】
推論器172は、センサ出力に基づいて荷重値を推論する。推論器172は、機械学習で生成された学習モデル178を用いて、荷重値を推論する。学習モデル178は、アレイ状に配列されたセルのそれぞれの出力値を入力としている。具体的には,推論器172は、
図5に示すような2次元データを学習モデル178に入力する。推論器172は、足FTから受ける荷重を示す荷重値173を算出し、判定部175に出力する。
【0069】
判定部175は、推定された荷重値173に基づいて、歩行周期のフェーズに関する判定を行う。判定部175は、荷重値173を、予め設定されたしきい値と比較する。そして、全体制御部210は、荷重値173がしきい値を下回るタイミングを立脚から遊脚に移行する切替タイミングと判定する。判定部175は、患脚の抜重タイミングを検出するために、判定を行う。
【0070】
駆動制御部176は、判定部175での判定結果に応じて、関節駆動部221を制御する。例えば、駆動制御部176は、切替タイミングで関節駆動部221が動作するように、制御信号を関節駆動部221に出力する。そして、関節駆動部221のアクチュエータが、制御信号に応じて動作する。関節駆動部221は、切替タイミング、つまり、患脚の抜重タイミングで膝関節を屈曲させることができる。
【0071】
このようにすることで、関節駆動部221が、歩行フェーズに合わせてアシスト力を与えることができる。よって、訓練者900が効果的な歩行訓練を行うことができる。なお、判定結果に応じて制御される制御対象は、関節駆動部221に限定されるものではない。例えば、前側ワイヤ134と後側ワイヤ136の引張力が歩行フェーズに合わせて動作するように、駆動制御部176が前側引張部135及び後側引張部137を制御してもよい。これにより、前側引張部135及び後側引張部137が抜重タイミングで前方への振出しアシストを行うことができる。
【0072】
以下、推論器172が利用する学習モデル178について説明する。
図7は、学習モデル178の一例を説明するための概念図である。学習モデル178は機械学習で生成された推論モデルである。
【0073】
学習モデル178は、複数のレイヤを有するDL(Deep Learning)モデルである。上記のように、学習モデル178の入力データは、2次元データとなる。したがって、入力データは2次元のグレースケール画像で示されている。
【0074】
学習モデル178は2次元データに対して畳み込み処理を行う畳み込みニューラルネットワーク(CNN:Convolutional Neural Networks)を備えている。CNNは、畳み込み層やプーリング層などを備えている。CNNの後段には、全結合層を含む全結合ネットワーク(FCN:Fully Connected Networks)が設けられている。もちろん、学習モデル178は、他のネットワークを用いてもよい、
【0075】
CNNは、各セルの圧力値を含む2次元データに対して畳み込み処理を行う。畳み込みニューラルネットワークCNNでは、二次元カーネルという重みを持っているため、隣接するセル同士を考慮した重み付け処理が可能となる。畳み込みニューラルネットワークでは二次元データに応じた特徴量が抽出される。これにより、荷重値173の推定精度を向上することができる。そして、CNNの重み等を機械学習により算出することができる。
【0076】
このように、荷重分布センサ152は、2次元アレイ状に配列された複数のセンサ155を有しており、訓練者900から加わる荷重分布を検出する。推論器172はセンサ155のセンサ出力に基づく2次元データを入力としている。推論器172は、畳み込み演算処理を行うCNNを有し、ユーザから受ける荷重値を推定する。各センサ155の出力値は、多ビットのデータとなるため、推論器172の入力データが画像データと同様の2次元データとなる。換言すると、センサ出力は、1つのセンサ155の出力が1画素の画素データとなる画像データと同様になる。画像識別等の処理と同様に、CNNが畳み込み処理を行うことができる。画像処理用のCNNを用いることができるため、汎用性を向上することができる。
【0077】
これにより、推論器172が、高い精度で荷重値を求めることができる。推論器172が、実際に押し潰されている印加領域A3と、巻き込み現状により変形している周辺領域A2を区別して処理する必要がなくなる。よって、歩行フェーズを適切に分析することができ、効果的な訓練が可能となる。
【0078】
本実施の形態では、荷重分布センサ152がベルト132の下側に配置されている。センサ155がベルト132を介して加わる荷重(圧力)を検出している。このような場合であっても、推論器172は、精度よく荷重値を推定することができる。つまり、CNNの重み等の各パラメータが、ベルト132が移動する場合を想定して学習されている。つまり、ベルト132が移動している状態で、重み付けのパラメータが最適化されている。これにより、荷重値173の推定精度を向上することができる。CNNを有する機械学習モデルを推論器172として用いることで、より高い推定精度で荷重値を算出することができる。よって、全体制御部210が歩行フェーズを適切に分析することができ、訓練者900が効果的な訓練を行うことができる。
【0079】
さらに、推論器172で推定された荷重値に基づいて、駆動制御部176がロボット脚である脚装具120を制御する。例えば、駆動制御部176は膝関節などの関節駆動部221を制御するための制御信号を出力する。駆動制御部176は、脚装具120を歩行フェーズに合わせて、駆動させることができる。脚装具120が、適切なアシスト力で歩行動作をアシストことができるため、訓練者900が効果的な訓練を行うことができる。
【0080】
ベルト132の移動速度によって、巻き込み現象の度合いが変化することがある。したがって、ベルト132の移動速度を推論器172に入力としてもよい。つまり、2次元データと移動速度が学習モデル178の入力データとなる。例えば、ベルト132の移動速度に応じて、学習モデル178が異なるパラメータを用いてもよい。具体的には、活性化関数、フィルタ、重み等を切り替えるようにしてもよい。あるいは、推論器172は、高速用の学習モデル178と、低速用の学習モデル178とを切り替えて使用することができる。学習モデル178を機械学習により生成する際において、学習器が、ベルト132の移動速度毎に、機械学習を行えばよい。換言すると、学習装置は、移動速度のデータをセンサ出力の2次元データと対応付けて学習データとして用いる。
【0081】
センサ出力取得部171は、荷重分布センサ152に含まれる全センサ155からのセンサ出力をトリミングしてもよい。そして、センサ出力取得部171は、トリミングされた2次元データを推論器172に入力してもよい。例えば、センサ出力取得部171には、予めトリミングサイズが設定されていてもよい。ここで、トリミングサイズを(k×l)個の矩形領域とすることができる。kは1より大きくm未満であり、lは1より大きくn未満である。センサ出力取得部171は、荷重分布センサ152の荷重分布の重心を中心として、k×lの2次元データを切り出す。つまり、センサ出力が(k×l)個の2次元マップデータとなる。このようにすることで、データ処理量を削減することができるため、処理を高速がすることができる。推論器172がフレーム毎に荷重値を算出することができる。
【0082】
センサ出力取得部171はセンサ出力を圧力値に変換する圧力変換部として機能してもよい。この場合、推論器172が、圧力値で構成された2次元マップデータを入力データと用いる。具体的には、荷重分布センサ152は、各センサ155からの出力される出力値(電圧値)をデジタルデータにA/D変換する。そして、センサ出力取得部171が変換式や変換テーブルを用いて、デジタルデータであるセンサ出力を圧力値に変換する。荷重分布センサ152が、電気的特性の測定値を、圧力値に変換する変換式や変換テーブルを有している。
【0083】
変換テーブルや変換式は、線形の変換結果を示してもよく、線形以外の変換結果を示してもよい。例えば、変換式は二次以上の多項式となっていてもよい。センサ出力値を圧力値に変換する変換式や変換テーブルは、センサ155毎に異なっていてもよく、複数のセンサ155で共通であってもよい。例えば、センサ出力取得部171は、センサ155毎に校正された変換式を用いることができる。これにより、推定精度を向上することができる。
【0084】
さらに、学習モデル178を生成するための機械学習として、教師データ有りの教師有り機械学習や半教師有り機械学習を用いることができる。このとき、教師データ(正解ラベル)として、靴のソールに設けられたインソールセンサのロードセルで検出された荷重値を用いることができる。
【0085】
例えば、
図8に示すように、靴SHのソールにロードセル180を配置した状態で、訓練者900が靴SHを履く。これにより、足FTと靴SHとの間にロードセル180が配置される。ロードセル180は足FTの裏に配置される。ロードセル180はインソールタイプの荷重センサや荷重分布センサである。ロードセル180が足FTから受ける荷重を直接検出することができる。つまり、ロードセル180で検出された荷重値を教師データとする教師有り機械学習で推論器172が構築される。これにより、より推定精度の高い学習モデルを構築することができる。
【0086】
図9、
図10は、インソールセンサであるロードセル180での測定結果と、推論器172の推論結果を示すグラフである。
図9,
図10では、ロードセル180での測定値をソール荷重として示している。
図9では、通常歩行での推論結果と測定値が示されている。
図10では、かかと歩行での推論結果と測定値が示されている。また、
図9,
図10は1歩分における荷重値の変化を示すグラフである。
【0087】
図9,
図10において、横軸がフレーム数、すなわち、時間を示している。縦軸が荷重値[N]の推測値と実測値である。推論器172による推論値が、ロードセル180での実測値に近くなっている。推論器172を用いることで、精度よく荷重値を推定することができるため、訓練者900が効果的な訓練を行うことができる。
【0088】
なお、全体制御部210は、物理的に単一な装置に限られるものない。つまり、センサ出力取得部171、推論器172,判定部175、学習モデル178、駆動制御部176とは複数の装置に分散して配置されていても良い。この場合、ネットワークを介して、データが装置間で送受信されていればよい。例えば、学習モデル178は、複数の歩行訓練装置100が利用できるように、サーバなどに搭載されていてもよい。
【0089】
また、上述した制御方法の一部又は全部はコンピュータプログラムによって実現できる。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体は、例えば、磁気記録媒体、光磁気記録媒体、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリを含む。磁気記録媒体は、例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブなどである。光磁気記録媒体は、例えば光磁気ディスクなどである。半導体メモリは、例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)などである。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【0090】
1 歩行訓練システム
100 歩行訓練装置
120 脚装具
131 トレッドミル
132 ベルト
152 荷重分布センサ
153 プーリー
155 センサ
171 センサ出力取得部
172 推論器
173 荷重値
175 判定部
176 駆動制御部
178 学習モデル
210 全体制御部
221 関節駆動部
900 訓練者