(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかるに、上記特許文献1に記載されるような姿勢動作検出装置では、手の甲の動きや指の角度しか検出することができないため、指の関節を中心とした動きであるのか、あるいは、手首や肘などを中心とした動きであるのかを判断することができない。このため、
図3に示すように手首だけを動かしたのか、あるいは、肘などを中心として手を動かしたかなどの判断をすることができない。
【0007】
そこで、本発明は人間の肢体を含む動作において、どこを中心に動作しているのかを検出できるようにした姿勢動作検出装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
すなわち、本発明は上記課題を解決するために、腕部、上腕部、下腿部、上腿部の
いずれかに取り付けられるプレートと、当該プレートの長手方向の離れた位置に取り付けられた加速度および角速度を検出する第一検出センサおよび第二検出センサと、前記第一検出センサと第二検出センサによって検出された加速度および角速度から、動作の回転中心を算出して、前腕部、上腕部、下腿部、上腿部の姿勢および運動状態を算出する算出部とを設けるようにしたものである。
【0009】
このように構成すれば、例えば、前腕部の長手方向の離れた位置に設けられた複数の検出センサによって、肘を中心とした回転運動であるのか前腕部の並進運動であるのかなどを判断することができるようになる。これにより、この前腕部の運動状態を把握することで、手指のみの運動状態を正確に判断することができる。
【0010】
また、このような発明において、前記第一検出センサおよび第二検出センサに、さらに、地磁気センサを取り付けるようにする。
【0011】
このようにすれば、地磁気センサの検出値によって初期状態からの運動を解析することができるとともに、ジャイロ出力の積分値(又は姿勢角)をその地磁気センサで補正することができるようになる。
【0012】
さらに
、手の甲や足の甲、各指に加速度および角速度を検出する手足姿勢検出センサを設けるとともに、当該手足姿勢検出センサで検出された加速度および角速度から、手足の姿勢および運動状態を第二算出部で算出し、当該算出された値から前記算出部で算出された前腕部、上腕部、下腿部、上腿部の姿勢および運動状態を除外して手足の姿勢および運動状態を修正するようにする。
【0013】
このようにすれば、前腕部の動きを除外して、手指のみの運動を抽出して解析することができるようになる。
【発明の効果】
【0014】
本発明によれば、前腕部、上腕部、下腿部、上腿部の
いずれかに取り付けられるプレートと、当該プレートの長手方向の離れた位置に取り付けられた加速度および角速度を検出する第一検出センサおよび第二検出センサと、前記第一検出センサと第二検出センサによって検出された加速度および角速度から、動作の回転中心を算出して、前腕部、上腕部、下腿部、上腿部の姿勢および運動状態を算出する算出部とを設けるようにしたので、例えば、肘を中心とした回転運動であるのか、肩を中心として前腕部を並進させた運動であるのかなどを判断することができるようになる。これにより、この前腕部の運動状態を把握することで、手指のみの運動状態を正確に判断することができるようになる。
【発明を実施するための形態】
【0016】
以下、本発明の一実施の形態について図面を参照しながら説明する。
【0017】
この実施の形態における姿勢動作検出装置1は、
図1や
図2に示すように、人間の前腕部に取り付けられた状態で前腕部の加速度や角速度・地磁気の向きを検出する第一検出部2と、手の甲や指に取り付けられた状態で手指の加速度や角速度・地磁気の向きを検出する第二検出部3とを備え、この第一検出部2の検出結果に基づいて前腕部の回転中心を算出して前腕部の姿勢や運動状態を解析するとともに、その後、その解析結果や第二検出部3の検出結果に基づいて、手指の姿勢や運動状態を解析できるようにしたものである。以下、本実施の形態における姿勢動作検出装置1の構成について詳細に説明する。なお、本実施の形態では、人間の前腕部や手の甲、指などに加速度センサやジャイロセンサ、地磁気センサを取り付けた場合を説明するが、上腕部や下腿部、上腿部、足の甲、足の指などに取り付けるようにした場合についても同様の構成を適用して肢体の姿勢や運動状態を解析することができる。
【0018】
<検出可能な動作例>
まず、人間の手や腕の動きを検出する場合、
図3の左側図に示すように、手首を中心とした回転運動(左上図)であるのか、肘を中心とした回転運動(左下図)であるのか、あるいは、前腕部を並進させる運動であるのかを検出する必要がある。しかしながら、従来のように、加速度センサやジャイロセンサを手の甲や指に取り付けただけである場合、手首を回転させながら手を動かした状態(右上図)や、肘を中心に手を動かした状態(右下図)を判別することができない。このため、これらの運動の違いを判別できるように、前腕部の手首の近い位置に第一検出部2を設けて回転中心を検出できるようにする。
【0019】
<第一検出部2および第二検出部3の基本構成>
第一検出部2は、前腕部の手首に近い位置に取り付けられるものであって、一枚のプレート23上に二つの第一検出センサ21や第二検出センサ22を取り付けて構成されている。これら第一検出センサ21や第二検出センサ22は、いずれも3軸方向(直交するX軸、Y軸、Z軸方向)の加速度を検出する加速度センサ、3軸方向の角速度を検出するジャイロセンサ、3軸方向の地磁気の向きを検出する地磁気センサからなる9軸のセンサによって構成されており、前腕部の長手方向に沿って所定の距離(例えば、10cm)を隔ててプレート23(
図1参照)に取り付けられている。そして、これらの第一検出センサ21や第二検出センサ22の加速度や角速度などを用いて手首を中心とした回転運動や肘を中心とした回転運動、回内運動、回外運動などをそれぞれ検出できるようにしている。
【0020】
一方、第二検出部3は、手の甲や、各指の先端から第一関節(DIP関節)までの間、第一関節(DIP関節)から第二関節(PIP関節)までの間、第二関節(PIP関節)から第三関節(MP関節)までの間に取り付けられており、同様に3軸方向(直交するX軸、Y軸、Z軸方向)の加速度を検出する加速度センサや、3軸方向の角速度を検出するジャイロセンサ、3軸方向の地磁気の向きを検出する地磁気センサを設けて構成されている。また、これ以外に、第三関節(MP関節)から手首に近い側のCM関節にも同様に3軸方向の加速度センサやジャイロセンサ、地磁気センサからなる9軸のセンサを設けて手掌の湾曲方向の姿勢や運動状態を検出できるようにしている。
【0021】
これらの複数のセンサを用いて姿勢や運動を推定する場合、まず、手指を静止させた状態で加速度センサの出力値を計測し、重力加速度のみを計測する。また、地磁気センサは、水平面以外では、そのままの出力では地磁気方位を正しく出力することができないため、鉛直方向の重力加速度を用いて地磁気の出力を水平面へ変換して方位を出す。そして、すべてのセンサに共通する重力方向と地磁気方位の2軸からグローバル座標と各センサ座標間の回転行列を作成し、これらを用いて初期姿勢を推定する。
【0022】
動作中の姿勢を推定する場合は、ジャイロセンサの出力値の角速度を時間積分することにより変位角度を求め、その角度ベクトル回りの回転行列をサンプリング時間毎に作成して直前のサンプリング時間の回転行列に掛け合わせることで、グローバル座標と初期姿勢、初期姿勢と現在の姿勢を結ぶ一つの回転行列とする。これを用いることにより動作中の姿勢を推定する。なお、動作中の姿勢に関してはジャイロセンサの出力を時間積分した角度を用いているため、時間が経過するほど姿勢推定の誤差も大きくなってしまい、適宜重力加速度と方位を使用して補正する必要がある。そこで、加速度センサや地磁気センサを用いてジャイロ出力の積分値(又は姿勢角)を補正する。
【0023】
<前腕部に取り付けた第一検出部2による動作の判別方法>
【0024】
第一検出部2では、このような加速度センサやジャイロセンサ、地磁気センサを有する第一検出部2を用いて手首を中心とした動きや、前腕部の並進運動、回内/回外運動の動きを判別する。
【0025】
このような動きを判別する場合、まず、第一検出センサ21や第二検出センサ22の加速度から重力加速度を除去する。この重力加速度成分を除去する場合、ジャイロセンサから得られた出力値を回転行列を用いて除去する。そして、回内/回外に対する回転加速度成分をジャイロセンサからの出力値によって算出し、これを除外する。この算出後に残った加速度は、並進加速度および肘や肩を中心とした回転による回転加速度となる。
【0027】
各種動作を判別する場合において、手首を中心とした動きや、前腕部の並進運動、回内/回外運動の動きを判別する場合、第一検出センサ21の回転加速度をa
1、第一検出センサ21の角速度をω
1、第二検出センサ22の回転加速度をa
2、第二検出センサ22の角速度をω
2とし、また、pr/suをその回内/回外成分とした場合、これらの検出値によって次のような運動を判別することができる(
図4参照)。
【0028】
a
1=a
2=0 :手首より身体側の動作なし
【0029】
また、a
1=a
2≠0である場合において、更に運動を詳しく判別するために、肘を中心とした加速度の回転成分を「el」とすると、回内/回外、肘や肩を中心とした回転は次のように判別することができる。
ω
1=ω
2=0 :並進運動のみ
ω
1=ω
1pr/su≠0、ω
2=ω
2pr/su≠0 であって、
a
1-pr/su=a
1−a
1pr/su、a
2-pr/su=a
2−a
2pr/su とした場合、
【0030】
a
1-pr/su=0、a
2-pr/su=0 :回内/回外のみ
【0031】
a
1-pr/su=a
2-pr/su :並進と回内/回外
ω
1≠ω
1pr/su≠0、ω
2≠ω
2pr/su≠0 であって、
a
1-pr/su-el=a
1-pr/su−a
1el、a
2-pr/su-el=a
2-pr/su−a
2el とした場合、
【0032】
a
1-pr/su-el=0、a
2-pr/su-el=0 :回内/回外と肘の回転
【0033】
a
1-pr/su-el=a
2-pr/su-el :並進と回内/回外と肘の回転
【0034】
a
1-pr/su-el≠a
2-pr/su-el :回内/回外と並進および肘/肩の回転の影響あり
ω
1≠0、ω
2≠0、ω
1pr/su=0、ω
2pr/su=0 であって、
【0035】
a
1-el=a
1−a
1el、a
2-el=a
2−a
2el とした場合、
【0036】
a
1-pr/su-el=0、a
2-pr/su-el=0 :肘の回転のみ
【0037】
a
1-pr/su-el=a
2-pr/su-el :並進と肘の回転
【0038】
a
1-pr/su-el≠a
2-pr/su-el :並進および肘/肩の回転影響あり
【0039】
なお、これらの加速度aや角速度ωは、それぞれベクトルとして表されるものである。
【0040】
また、上記「肩の回転影響あり」と判断される場合においては、上腕部に加速度センサやジャイロセンサ・地磁気センサを取り付ければ、これら肩の回転を検出することができるようになる。
【0041】
このように前腕部に軸方向に沿った第一検出センサ21や第二検出センサ22を用いて手首を中心とした回転なのか、肘や肩を中心とした回転なのか、あるいは、回内運動であるか回外運動であるかなどを判別することが可能となる。そして、次に、前腕部の姿勢や動作を具体的に算出すべく、回転加速度や回転中心などを算出部4で算出する。
【0042】
<回転加速度の算出方法>
一般に、この回転加速度を計算する場合、ジャイロセンサの出力値である角速度と回転中心からの位置ベクトルを用いることにより、回転加速度を算出することができる。ただし、角速度は単一の回転軸による成分に分離する必要があり、これを計算するために上腕部に取り付けた第一検出センサ21や第二検出センサ22を利用し、
【数1】
を用いて回転加速度aを算出する。
【0043】
<回転中心の算出方法>
また、回転中心の算出は、同一の回転中心を持つ回転軸が2つ(例えば、上下方向の回転軸と左右方向の回転軸)あるという条件下で、各軸まわりの回転をそれぞれ行ったデータを使用することにより算出が可能となる。このとき、センサと中心位置の相対関係が変化しないと仮定する。
【0044】
この場合、センサ座標系ではセンサ位置と回転中心との距離は変わらないので、上記数1は第1項のみとなり、回転の加速度と位置ベクトルは外積の関係式となる。外積は不可逆な演算式であるが、2軸の回転における平面(加速度ベクトルを法線としたもの)を利用することにより、2つの平面の交線として位置ベクトルの単位ベクトルが算出可能であり、また、このベクトルと角加速度ベクトル(角速度の微分値)を利用することにより、位置ベクトルの大きさが算出される。したがって、この2つの値により位置ベクトルが求められるため、回転中心を算出することができる。
【0045】
具体的には、第一検出センサ21の加速度センサから算出された回転加速度ベクトルをa
1、角速度ベクトルをω
1、位置ベクトルをx
1、第二検出センサ22の加速度センサから算出された回転加速度ベクトルをa
2、角速度ベクトルをω
2、位置ベクトルをx
2(x
1=x
2=x)とした場合、回転加速度は数1の関係式が成り立つ。
【0046】
このとき、センサ座標系では、回転中心とセンサ位置とは時間変化しないため、
【数2】
となり、回転加速度ベクトルを法線ベクトルとする平面は、角加速度ベクトルと位置ベクトルを含んでいることになる。そして、
【数3】
とすると、
図5に示すような原点を通る平面の方程式は次のように表される。
【数4】
【0047】
2つの平面の交線ベクトルは、位置ベクトルと同一方向を指すので、
図6に示す交線ベクトルの単位ベクトルuを算出する。
【0048】
平面上の角加速度ベクトル位置ベクトルのなす角θは、単位交線ベクトルと角加速度ベクトルから算出が可能であり、外積の大きさの関係式を用いることで、位置ベクトルの大きさを次のように算出することができる。
【数5】
【0049】
従って、位置ベクトルxは、次のように表される。
【数6】
【0050】
つまり、回転中心位置cは、センサ座標原点から考えると、次のように算出することができる。
【数7】
【0051】
そして、9軸のセンサが取り付けられている位置の部位の両端側における関節をそれぞれ中心として動作させることで、ベクトル「c」を算出部4で算出することにより、
図7に示すように、センサと一端側までのベクトルと、センサと他端側までのベクトルを算出することができ、センサが取り付けられている部位長さやその部位の長手方向ベクトルなどを算出することができる。
【0052】
以下、指に取り付けられているセンサについても同様の処理を行い、指の部位長さや回転中心(関節)までの長さを第二算出部41で算出する。
【0053】
なお、指の部位長さやその部位の長手方向ベクトルを算出する場合、指先の末節骨においては、第二関節(DIP関節)しか存在しないため、同様の処理を行うことができない。そこで、この実施の形態では、
図8に示すように各関節(DIP関節、PIP関節)を中心として等しい距離にセンサを取り付けるとともに、末節骨については、末節骨の中央に配置するようにする。そして、この状態で関節角を0度に維持した状態(指を真っ直ぐに伸ばした状態)で付け根のMP関節を中心として2軸方向(例えば、上下方向および左右方向)に回転させ、同様にして各センサからMP回転中心までの距離を求める。そして、各指に取り付けられたセンサの配置関係を用いて各回転中心までの長さや部位長さ、その部位の長手方向のベクトルを算出できるようにする。そして、このように算出された回転中心や部位長さと、各センサから出力値を用いて指の姿勢位置や速度・加速度・角速度などの運動状態を第二算出部41で算出する。
【0055】
このようにして算出された回転中心や第一検出部2で検出された加速度や角速度を用いて、並進であれば手指の加速度から並進の加速度を除外、回外および肘の回転であれば手指の第二検出部3に対する位置ベクトルの影響を考慮した加速度を除外することにより、手指の加速度出力から肘の回転などの影響を除外することができる。さらに、前腕部に設けられた第一検出部2の角速度成分を手指における第二検出部3のジャイロセンサの出力値から除外することにより、手指単体の運動に対する加速度を算出する。
【0056】
このように、前腕部に取り付けられた第一検出部2を利用することにより、手指における加速度出力から重力加速度を抽出でき、この重力加速度を用いることにより、動作中の姿勢の補正が可能となる。
【0057】
また、従来のように手指のみにセンサを取り付けている場合、手指での撓屈/尺屈あるいは屈曲/伸展した場合と肘で屈曲/伸展した場合の区別を付けることが不可能であるが、前腕部に設けられた第一検出部2による姿勢や運動状態を除外することによって、手指の細かな運動を解析することが可能となる。
【0058】
次に、このように構成された姿勢動作検出装置1における処理のフローについて、
図9や
図10を用いて説明する。
【0059】
まず、キャリブレーションを行う場合、被験者の手首に近い前腕部に第一検出センサ21や第二検出センサ22を有するプレート23を取り付けるとともに、手指の各骨にも加速度センサやジャイロセンサ、地磁気センサからなる第二検出部3を取り付ける。このとき、手指にセンサを取り付ける場合、
図8に示すように、DIP関節やPIP関節を中心としてそれぞれ等しい距離にセンサを取り付けるとともに、末節骨については、末節骨の中央にセンサを取り付ける。そして、このようにセンサを取り付けた状態で、手指や前腕部を静止させ、各センサから重力加速度を検出して初期姿勢を算出する(ステップS1)。
【0060】
次に、各センサが取り付けられている部分の部位長さやその部位の長手方向ベクトル、回転中心などを算出すべく、まず、被験者に肘を中心として前腕部を上下方向や左右方向の2方向に動かしてもらい、第一検出部2のセンサから回転加速度を算出し、数5〜数7を用いてそのセンサから肘までの位置ベクトル(
図7の遠位側ベクトル)を算出する(ステップS2)。
【0061】
また、今度は逆に、その被験者に手首を中心として前腕部を上下方向や左右方向に動かしてもらい、第一検出部2のセンサから回転加速度を算出して、同様に、そのセンサから手首までの位置ベクトル(
図7の近位側ベクトル)を算出する(ステップS3)。
【0062】
そして、このように算出された肘までの位置ベクトルや手首までの位置ベクトルを用いて、前腕部の長さやその部位の長手方向ベクトル(
図7の部位の長手方向ベクトルV
B)、回転中心などを算出する(ステップS4)。
【0063】
次に、手指についても部位長さやその部位の長手方向ベクトル、回転中心などを算出すべく、MP関節を中心として真っ直ぐに伸ばした状態の指を上下方向や左右方向に動かしてもらい、回転加速度を算出する。そして、同様に、数5〜数7を用いて、各センサからMP関節までの位置ベクトルを算出する(ステップS5)。
【0064】
そして、その算出された位置ベクトルと、
図8に示すような各センサの取り付け位置の関係から、各指の部位長さやその部位の長手方向ベクトル(V
D、V
M、V
P)、回転中心などを算出する(ステップS6)。
【0065】
このように部位長さやその部位の長手方向ベクトル、回転中心が算出された状態で、被験者の動作に基づく前腕部や手指の姿勢および動作状態を解析する場合、まず、ステップS1と同様に初期姿勢を推定した後(ステップT1)に、第一検出部2で加速度や角速度を検出し(ステップT2)、前腕部の運動状態を
図4に従って判断する(ステップT3)。そして、前腕部の回転中心や部位長さ、部位の長手方向ベクトルと、この検出された加速度や角速度とから手首における姿勢位置や速度、加速度などの運動状態を計算し、肘を中心とする回転運動や回内/回外運動である場合は、その回転中心を軸とする角速度に部位長さを積算して手首位置における姿勢や運動状態を算出する。また、前腕部が並進運動である場合は、加速度から手首位置における速度などを算出する(ステップT4)。
【0066】
次に、手指に設けられた第二検出部3のセンサから加速度や角速度を検出し(ステップT5)、手指の姿勢や運動状態を計算する(ステップT6)。このとき、各指の部位長さや部位の長手方向ベクトル、回転中心をもとに加速度や角速度を考慮して、それぞれの回転中心に加速度や角速度を積算し、そのセンサが取り付けられている部位の姿勢位置や速度、加速度、回転速度などを算出する。なお、このような検出時においてジャイロセンサで角速度を検出する場合、適宜重力加速度および地磁気を用いて誤差を修正していく。
【0067】
このように手指を動作させている際に前腕部が動いている場合は、その前腕部の動作を除去する必要があるため、先に求めた手首の位置や速度、加速度などの姿勢や運動状態を除去し(ステップT7)、手指のみによる姿勢や運動状態を抽出する。
【0068】
そして、このようにして第一検出部2で前腕部の姿勢や運動状態を抽出するとともに、第二検出部3で手指の姿勢や運動状態を判断し、第一検出部2の検出結果を除去することで、手指のみによる姿勢や運動状態を抽出する(ステップT8)。
【0069】
このように上記実施の形態によれば、被験者の前腕部に取り付けられ
るプレート23と、
当該プレートの23長手方向の離れた位置に取り付けられた加速度および角速度を検出する第一検出センサ21
および第二検出センサ22と、これらの第一検出センサ21と第二検出センサ22によって検出された加速度および角速度から、動作の回転中心を算出して、前腕部の姿勢および運動状態(速度、加速度、回転速度など)を算出する算出部4とを設けるようにしたので、肘を中心とした回転運動であるのか、前腕部を並進させた運動であるのかなどを判断することができるようになる。これにより、この前腕部の運動状態を把握することで、手指のみの運動状態を正確に判断することができるようになる。
【0070】
また、第一検出センサ21および第二検出センサ22に、さらに、地磁気センサを取り付けるようにしたので、地磁気センサの検出値によって初期状態からの運動を解析することができるとともに、ジャイロセンサによって生じる誤差をその重力加速度および地磁気を用いて修正することができるようになる。
【0071】
さらに
、手指に加速度および角速度を検出するセンサを設けるとともに、これらのセンサによって検出された加速度および角速度から、手指の姿勢および運動状態を第二算出部41で算出し、この第二算出部41で算出された値から前記算出部4で算出された前腕部の姿勢および運動状態を除外して手足の姿勢および運動状態を修正するようにしたので、前腕部の動きを除外して、手指のみの運動を抽出して解析することができるようになる。
【0072】
なお、本発明は上記実施の形態に限定されることなく種々の態様で実施することができる。
【0073】
例えば、上記実施の形態では、前腕部に二つの検出センサを設けて手首の姿勢や動作状態を検出する場合について説明したが、上腕部にも同様に複数の検出センサを設け、上腕部の姿勢や運動状態を検出し、その後、前腕部の姿勢や運動状態を検出して上腕部の運動状態などを除去するようにしていってもよい。
【0074】
また、これらの構成については脚部や足についても同様に適用することができ、下腿部や上腿部に同様の検出センサを複数取り付け、身体に近い側からの運動を計算してその運動状態を除去するようにしていってもよい。
【0075】
さらに、上記実施の形態では、前腕部や手指の姿勢や運動状態のみを検出する場合について説明したが、指先に力覚センサを取り付けて、その力覚センサからの出力値とともに手指や前腕部の動作なども出力するようにしてもよい。