(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-07
(45)【発行日】2023-08-16
(54)【発明の名称】検出システム
(51)【国際特許分類】
A61B 5/11 20060101AFI20230808BHJP
【FI】
A61B5/11 200
(21)【出願番号】P 2021131244
(22)【出願日】2021-08-11
(62)【分割の表示】P 2017036132の分割
【原出願日】2017-02-28
【審査請求日】2021-08-11
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100107836
【氏名又は名称】西 和哉
(72)【発明者】
【氏名】中川 源洋
【審査官】北島 拓馬
(56)【参考文献】
【文献】米国特許第04659602(US,A)
【文献】特開2016-121421(JP,A)
【文献】特開2004-116956(JP,A)
【文献】国際公開第2009/072435(WO,A1)
【文献】特開2001-067483(JP,A)
【文献】特開2014-138661(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/06 - 5/22
G06T 1/00 - 1/40
G06T 3/00 - 5/50
G06T 7/00 - 7/90
G06V 10/00 -20/90
G06V 30/418
G06V 40/16
G06V 40/20
(57)【特許請求の範囲】
【請求項1】
被検物体に対して所定波長の光を照射して前記被検物体において反射した前記所定波長の光に基づいて前記被検物体を光学的に検出する検出装置と
、
前記検出装置の検出範囲の少なくとも一部であり、前記被検物体と床との間に配置されるマット
と、を備え、
前記マットは、基材、吸収層及び下地層を含み、
前記吸収層は、層内において一様に配置され、前記検出装置が感度を有する波長帯において前記被検物体よりも吸収率が高い材料を含
み、
前記検出装置は、前記被検物体の着地のタイミングを検出する検出部を備える、検出システム。
【請求項2】
前記所定波長の光は、赤外光である、請求項1に記載の
検出システム。
【請求項3】
前記吸収層は、800nm以上1200nm以下の波長帯、又は750nm以上3000nm以下の波長帯に吸収極大を有する、請求項1又は請求項2に記載の
検出システム。
【請求項4】
前記吸収層は、フタロシアニン系色素、金属錯体系色素、ニッケルジチオレン錯体系色素、シアニン系色素、スクアリリウム系色素、ポリメチン系色素、アゾメチン系色素、アゾ系色素、ポリアゾ系色素、ジイモニウム系色素、アミニウム系色素及びアントラキノン系色素の少なくとも1つを含む、請求項1から請求項3のいずれか一項に記載の
検出システム。
【請求項5】
前記吸収層は、グラファイトを分散させた樹脂材料を含む、請求項1から請求項3のいずれか一項に記載の
検出システム。
【請求項6】
前記マットは、前記被検物体と接触する位置に配置される、請求項
1から請求項5のいずれか一項に記載の検出システム。
【請求項7】
前記検出
部は、前記被検物体が有する部位の検出位置の時間変化に基づいて、前記部位と前記マットとの接触のタイミングを検出
し、
前記検出装置は、前記タイミングにおける前記被検物体の検出結果を解析する解析
部を備える、請求項
1から請求項
6のいずれか一項に記載の検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出システムに関する。
【背景技術】
【0002】
運動中の人物を適切な状態で撮像する技術が提案されている(例えば、下記の特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【課題を解決するための手段】
【0004】
本発明の一態様においては、検出システムを提供する。検出システムは、被検物体に対して所定波長の光を照射して被検物体において反射した所定波長の光に基づいて被検物体を光学的に検出する検出装置を備える。検出システムは、検出装置の検出範囲の少なくとも一部であり、被検物体と床との間に配置されるマットを備える。マットは、基材、吸収層及び下地層を含む。吸収層は、層内において一様に配置され、検出装置が感度を有する波長帯において被検物体よりも吸収率が高い材料を含む。検出装置は、被検物体の着地のタイミングを検出する検出部を備える。
【図面の簡単な説明】
【0007】
【
図1】第1実施形態に係る検出システムを示す図である。
【
図2】第1実施形態に係る検出部の処理及び処理部の処理を示す図である。
【
図3】第1実施形態に係る変位算出部の処理、着地判定部の処理を示す図である。
【
図4】第1実施形態に係る検出方法を示すフローチャートである。
【
図5】第2実施形態に係る検出システムを示す図である。
【
図6】第2実施形態に係る処理部による処理を示す図である。
【
図7】第2実施形態に係る処理装置の処理を示す図である。
【
図8】第2実施形態に係る検出方法を示すフローチャートである。
【
図9】変形例に係る運動解析部の処理を示す図である。
【
図10】第3実施形態に係る検出システムを示す図である。
【
図11】実施形態に係る検出部の配置を示す図である。
【
図12】第4実施形態に係る検出システムを示す図である。
【
図13】実施形態に係る運動用マットを示す図である。
【発明を実施するための形態】
【0008】
[第1実施形態]
第1実施形態について説明する。
図1は、実施形態に係る検出システムを示す図である。実施形態に係る検出システム1は、例えば、履物選定、人認証セキュリティ、ファッションショー及びスポーツ(例、野球、サッカー、ゴルフ、ヨガ
)等に用いられる。実施形態に係る検出システム1は、例えば、動作検出システムや運動支援システムなどである。
【0009】
検出システム1は、所定の方向に移動するターゲット(例、ユーザ)の人体HM(身体)を検出する。人体HMの移動は、例えば、人体HMの脚部又は腕部の移動を伴う運動(例、歩行、走行及び姿勢変化などの動作)などである。検出システム1は、例えば、人体HMの下方(例、重力方向)の支持面G上で移動(例、運動)する人体HMを検出する。上記の支持面Gは、例えば、人体HMを支持する面、人体HMが移動する面(移動面)、及び人体HMが着地する面(着地面)の少なくとも1つを含む。なお、検出システム1(又は検出装置2)は、所定の方向に移動する物体、生物又はロボット(例、人型ロボット)を検出することを含む。
【0010】
支持面Gは、例えば、地面もしくは床面などの所定面、又は所定面に敷かれたシートもしくはマットなどの上面を含む。検出システム1が人体HMを検出する際に、人体HMは、裸足の状態で移動してもよいし、靴などの装着物(例、人体HMとともに移動する物体)を付けた状態で移動してもよい。また、人体HMの移動は、人体HMに付けられた物体の移動を含む。例えば、検出システム1による人体HMの検出は、人体HMとともに移動する装着物の検出を含んでもよい。
【0011】
検出システム1は、検出装置2、処理装置3、及び表示装置4を備える。検出装置2は、移動する人体HM(例、脚部、腕部などの部位)を光学的に検出する。処理装置3は、検出装置2の検出結果(例、画像の画素値、受光信号)に基づいて、人体HMの着地(例、着地状態、移動中の動作姿勢)を判定する。例えば、処理装置3は、裸足の人体HMが支持面Gに着地したか否かを判定する。処理装置3は、人体HMに付された装着物が支持面Gに着地したか否かを判定してもよい。以下、検出システム1の各部について説明する。
【0012】
検出装置2は、例えば、検出部5及び記憶部6を備える。検出部5は、例えば、所定の周波数(例、サンプリングレート、フレームレート)で検出処理を実行する。検出部5は、例えば、撮像素子のような受光素子を含む。撮像素子は、例えば、CCDイメージセンサあるいはCMOSイメージセンサなどである。検出部5は、例えば、撮像処理によって人体HMを光学的に検出する。検出部5は、その検出結果として、例えば撮像した画像(以下、撮像画像という)のデータ(例、RGBデータやグレースケールなどの画素値)を出力する。
【0013】
記憶部6は、例えば、不揮発性メモリを含む。記憶部6は、検出部5の検出結果を記憶する。記憶部6は、例えば、検出部5の検出結果を、検出部5が検出を実行したタイミングの情報と関係づけて記憶する。上記のタイミングの情報は、例えば、検出を実行した順に割り付けられる番号(例、フレーム番号)でもよい。また、上記のタイミングの情報は、例えば、人体HMに対する検出を実行したタイミングに基づいた時刻(以下、検出時刻という)でもよい。検出時刻は、例えば、検出装置2に内蔵される計時デバイス(例、内部時計)が測定する時刻でもよいし、外部から受信する情報(例、標準時を示す標準電波)によって取得される時刻でもよい。
【0014】
検出装置2は、例えば、検出部5によって人体HMを撮像し、その撮像画像のデータ(例、RGBデータやグレースケールなどの画素値)を記憶部6に記憶させる。検出装置2は、検出部5の検出結果を外部に出力可能である。例えば、検出部5は、記憶部6に記憶された撮像画像のデータを読み出して、外部に出力する。検出装置2は、記憶部6を介することなく(例、リアルタイムで)、検出結果を外部に出力してもよい。この場合、検出装置2は、記憶部6を備えなくてもよい。
【0015】
処理装置3は、例えば、検出装置2が出力する情報(例、検出結果)を処理する情報処理装置である。処理装置3は、例えば、検出装置2と有線又は無線によって通信可能に接続される。処理装置3は、例えば、検出装置2の検出結果として撮像画像のデータを、検出装置2から取得(例、受信)する。なお、処理装置3は、検出装置2との通信を介することなく、検出装置2の検出結果あるいは処理結果を取得してもよい。例えば、処理装置3は、不揮発性メモリなどの記憶媒体を介して、検出装置2から検出結果を取得してもよい。例えば、検出装置2の記憶部6は、検出装置2から取り外し可能なメモリーカードなどの記憶媒体でもよい。処理装置3は、例えば、処理装置3から取り外された記憶部6と接続されることで、検出装置2の検出結果を取得してもよい。
【0016】
処理装置3は、処理部7、変位算出部8、着地判定部9、及び記憶部10を備える。処理部7は、検出装置2から出力される情報(例、検出結果、処理結果)を処理する。処理部7は、例えば、検出装置2から出力される撮像画像のデータを処理する画像処理部である。処理部7は、例えば、検出装置2の検出結果に基づいて、人体HMの位置情報を検出する。
【0017】
実施形態に係る位置情報(位置に関する情報)は、予め定められた座標系における座標(例、脚部の座標)と、この座標の時間変化(位置の時間変化量)に相当する量(例、脚部の速度)と、この量の時間変化量に相当する量(例、脚部の加速度)との少なくと1つを含む。上記の座標系は、例えば、検出部5あるいは処理部7が設定する座標系である。例えば、上記の座標系は、撮像画像における座標系である。例えば、人体HMの座標は、撮像画像における水平走査方向の画素の位置、及び撮像画像の垂直走査方向における画素の位置で表される。また、人体HMの位置情報は、例えば、人体HMの部位(例、頭、胴体、脚部、腕部)の少なくとも1つの位置情報を含む。
【0018】
図2は、実施形態に係る検出部の処理及び処理部の処理を示す図である。
図2において符号Im1は、検出部5が撮像した撮像画像である。処理部7は、例えば、撮像画像Im1に対してエッジ検出処理を施し、撮像画像Im1における人体HM(例、形状、輪郭)を特定する。処理部7は、例えば、パターン認識によって、撮像画像Im1における人体HMの部位を特定する。
【0019】
処理部7は、撮像画像Im1における人体HMの位置を検出する。例えば、処理部7は、人体HMのうち支持面Gに支持される部位(例、支持面Gに接触する部位)の位置情報を検出する。処理部7は、例えば、検出装置2が検出した人体HMの脚部Q1の撮像画像Im1における位置情報を検出する。脚部Q1は、例えば、腰Q2からつま先Q3までの部位である。
【0020】
脚部Q1の位置情報は、左足の位置又は右足の位置でもよいし、左足の位置及び右足の位置を一組にした情報でもよい。また、脚部Q1の位置情報は、脚部Q1を代表する位置(例、脚部Q1の輪郭の中心)でもよいし、脚部Q1に含まれる部位(例、つま先Q3、かかとQ4、膝Q5)の少なくとも1つの位置でもよい。なお、脚部Q1は、かかとや甲などを含み、例えばかかとQ4と一体的に移動する領域(例、甲など)を含む。また、人体HMの位置情報は、検出結果(例、撮像画像Im1)における人体HMの1つの部位の位置のみを含んだ情報でもよいし、人体HMの複数の部位(例、膝Q5、かかとQ4、つま先Q3)のそれぞれの位置を一組にした情報でもよい。
【0021】
なお、位置情報として人体HMに周囲と区別可能なマーク(例、特徴部分、コード)が予め付けられており、処理部7は、このマークを特定してもよい。上記のマークは、周囲(例、支持面G)と光学特性(例、反射率、吸収率)が異なる部材でもよい。また、上記のマークは、周囲と区別可能な形状の図形を含んでもよい。人体HMの位置情報は、例えば、人体HMに付けられた部材(例、装着物、靴、ウェア)の位置の情報を含んでもよい。
【0022】
図1の説明に戻り、処理部7は、検出部5が人体HMの検出(例、撮像処理)を実行するたびに、人体HMの位置を検出する。例えば、処理部7は、検出部5が撮像した1枚の撮像画像ごとに、撮像画像における人体HMの絶対的又は相対的な位置を検出する。処理部7は、検出部5が人体HMの検出を複数回実行するたびに、人体HMの位置を検出してもよい。例えば、処理部7は、検出部5が撮像した複数の撮像画像から選択される1枚の撮像画像における人体HMの位置を検出してもよい。また、処理部7は、2以上の撮像画像のそれぞれについて人体HMの位置を検出し、検出した位置に対して補間あるいは平均等の演算処理を行って、人体HMの位置情報を算出してもよい。そして、処理部7は、例えば、検出した人体HMの位置情報を外部へ出力する。処理部7は、例えば、検出した人体HMの位置情報を記憶部10に記憶させる。
【0023】
変位算出部8は、検出部5の検出結果の時間変化(時間に対する変化量)を算出する。例えば、変位算出部8は、処理部7が出力する人体HMの位置情報を取得し、位置情報に含まれる人体HMの位置の時間変化を算出する。変位算出部8は、例えば、記憶部10に記憶されている位置情報を読み出して、位置の時間変化を算出する。変位算出部8は、例えば、検出部5が撮像した第1の撮像画像から処理部7が検出した位置と、検出部5が撮像した第2の撮像画像から処理部7が検出した位置とを比較して、位置の時間変化を算出する。上記の第1の撮像画像と第2の撮像画像とは、検出部5による撮像のタイミングが互いに異なる撮像画像である。
【0024】
変位算出部8は、検出部5の検出結果の時間変化を示す変位情報を出力する。例えば、変位算出部8は、変位情報として、処理部7が検出した位置情報(例、人体HMの部位の空間位置)の時間変化(変化量)又は該時間変化に基づく変位ベクトル(変位方向、変位距離など)を出力する。変位算出部8は、例えば、変位情報を記憶部10に記憶させる。着地判定部9は、変位算出部8の算出結果に基づいて人体の着地を推定して判定する。
【0025】
図3は、実施形態に係る変位算出部の処理、着地判定部の処理を示す図である。
図3(A)において、横軸は時刻(時間経過)である。また、符号TR(実線)は人体HMの右足のかかとの位置である。符号TLは、人体HMの左足のかかとの位置である。
図3(A)のデータは、例えば、処理部7が検出したかかとQ4の位置を時刻に対してプロットしたデータ点を平滑線で結ぶことなどで得られる。
【0026】
図3(A)の時刻t1において、左足(位置TL参照)は、着地した状態である。この状態において、左足の位置TLは、ほぼ一定である。時刻t1において、右足(位置TR参照)は、前方への移動を開始した状態である。右足は、例えば、左足を支持として前方へ移動し、その位置TRが時間変化する。右足は、着地するとその位置TRの時間変化が右足の移動時よりも減少する。右足が着地すると、左足は、右足を支持として前方に移動し、その位置TLの時間変化が左足の着地時よりも増加する。
【0027】
変位算出部8(
図1参照)は、例えば、人体HMの脚部Q1(例、かかとQ4)の位置の時間変化を算出する。例えば、変位算出部8は、検出部5が撮像した前回の撮像画像におけるかかとQ4の位置と、検出部5が撮像した今回の撮像画像におけるかかとQ4の位置との差分を、かかとQ4の位置の時間変化として算出する。かかとQ4の位置の時間変化は、例えば、かかとQ4の速度に相当する。
【0028】
図3(B)は、右足のかかとQ4の位置TRの時間変化(速度)を示す図である。右足のかかとQ4は、時刻t1において支持面G(
図1参照)から離れ、時間経過とともに速度が増加する。また、右足のかかとQ4は、速度が極大になった後に、時刻t2において着地する。
図3(C)は、左足のかかとQ4の位置の時間変化(速度)を示す図である。左足のかかとQ4は、時刻t1から時刻t3まで着地した状態である。左足のかかとQ4は、時刻t3において支持面G(
図1参照)から離れ、時間経過とともに速度が増加する。また、左足のかかとQ4は、速度が極大になった後に、時刻t4において着地する。
【0029】
着地判定部9は、時間変化から推定される支持面G(着地面)に対する脚部Q1の着地状態に基づき人体の着地を判定する。例えば、脚部Q1の位置の時間変化が閾値以下である場合、脚部Q1が支持面Gに接した着地状態であると推定される。脚部Q1の着地状態は、脚部Q1の少なくとも一部(例、つま先Q3、かかとQ4)の着地姿勢を含んでもよい。
【0030】
着地判定部9(
図1参照)は、例えば、変位算出部8が算出した脚部(例、かかと)の位置の時間変化と閾値とを比較して、その比較結果(例、閾値以下の結果、閾値以上の結果)に基づいて着地を判定する。着地判定部9は、例えば、変位算出部8が算出した右足のかかとの位置の時間変化(
図3(B)の速度)が閾値TH以下である場合に、右足のかかとが着地したと推定して判定する。着地判定部9は、例えば、変位算出部8が算出した左足のかかとの位置の時間変化(
図3(C)の速度)が閾値TH以下である場合に、左足のかかとが着地したと推定して判定する。着地判定部9は、例えば、位置情報(例、位置(座標)、速度、加速度)の時間履歴に基づいて、補間などによって着地状態を推定してもよい。
【0031】
図1の説明に戻り、着地判定部9は、例えば、その判定結果(例、着地の有無)を記憶部10に記憶させる。表示装置4は、例えば、液晶ディスプレイ等である。表示装置4は、処理装置3の処理結果を表示する。処理装置3は、例えば、着地判定部9の判定結果を示す画像のデータを表示装置4に供給する。処理装置3は、例えば、着地判定部9の判定結果を示す画像を、表示装置4に表示させる。
【0032】
次に、上述の検出システム1の動作に基づき、実施形態に係る検出方法について説明する。
図4は、実施形態に係る検出方法を示すフローチャートである。検出システム1の各部については、適宜、
図1を参照する。ステップS1において、検出装置2は、移動する人体HMを光学的に検出する。例えば、検出部5は、移動する人体HMを撮像する。例えば、検出部5は、予め設定された期間(以下、検出設定期間という)において人体HMを繰り返し検出(例、撮像)した後、検出を終了する。
【0033】
処理部7は、検出部5の検出結果に基づいて、人体HMの少なくとも一部の位置を検出する(位置検出処理を実行する)。処理部7は、検出部5による検出処理(例、撮像処理)の少なくとも一部と並行して、位置検出処理を実行してもよい。また、処理部7は、検出部5による検出の終了後(例、上記の検出設定期間の終了後)に、位置検出処理を実行してもよい。
【0034】
ステップS2において、変位算出部8は、検出部5の検出結果の時間変化を算出する。変位算出部8は、例えば、処理部7が検出した人体HMの位置(例、かかとQ4の位置)の時間変化を算出する。例えば、変位算出部8は、上記の検出設定期間における検出部5の検出結果について処理部7による位置検出処理が完了した後に、位置検出処理の処理結果の全て又は一部を取得し、人体HMの位置の時間変化を算出する。
【0035】
ステップS3及びステップS4において、着地判定部9は、人体HMの着地を判定する。例えば、ステップS3において、着地判定部9は、処理部7が検出した人体HMの位置の時間変化が閾値TH以下であるか否かを判定する。着地判定部9は、時間変化が閾値以下であると判定した場合(ステップS3;Yes)、人体HMが着地したと判定する(ステップS4)。また、着地判定部9は、時間変化が閾値を超えると判定した場合(ステップS3;No)、人体HMが着地していないと判定する(ステップS5)。
【0036】
上述の実施形態において、検出システム1の少なくとも一部(例、処理装置3)は、コンピュータシステムを含んでもよい。処理装置3は、記憶部10に記憶されている検出プログラムを読み出し、この検出プログラムに従って各種の処理を実行してもよい。この検出プログラムは、例えば、コンピュータに、移動する人体HMを検出した検出結果の時間変化を算出することと、時間変化に基づいて人体HMの着地を判定することと、を実行させる。この検出プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
【0037】
実施形態において、検出システム1は、所定の移動方向(例、進行方向、奥行方向)に移動する人体HMを光学的に検出した検出結果の時間変化に基づいて、人体HMの着地を判定する。この場合、検出システム1は、例えば、人体HMの着地を高精度で判定可能である。変位算出部8は、例えば、検出部5が検出した人体HMの一部(部位)の位置の時間変化を算出する。この場合、検出システム1は、例えば、人体HMの部位の位置の時間変化を高精度で算出可能である。なお、変位算出部8は、検出部5が検出した人体HMの複数の部位の位置の時間変化を算出してもよい。着地判定部9は、人体HMの複数の部分の位置の時間変化に基づいて、着地を判定してもよい。
【0038】
また、変位算出部8は、例えば、検出部5が検出した脚部の位置の時間変化を算出する。例えば、脚部は着地することで脚部の位置の時間変化がほぼ一定(例、0)になり、検出システム1は、着地を高精度で判定可能である。なお、変位算出部8は、検出部5が検出した人体HMのうち脚部Q1以外の部分の位置の時間変化を算出してもよい。例えば、変位算出部8は、検出部5が検出した人体HMのうち、脚部Q1と連動して動く部分(例、
図1の腕部Q6)の位置の時間変化を算出してもよい。腕部Q6は、例えば、肩Q7から手Q8(例、指先)までの少なくとも一部の部位を含む。右の腕部Q6の振りは、例えば、歩行又は走行において左の脚部Q1と移動と連動し、脚部Q1が着地している間の少なくとも一部において静止する。着地判定部9は、例えば、右の腕部Q6の位置の時間変化が閾値以下になった場合に左足が着地したと判定してもよい。
【0039】
また、着地判定部9は、例えば陸上競技のクラウチングスタート、水泳競技のスタートなどにおいて、位置の時間変化から推定される支持面G(着地面)に対する腕部Q6の着地状態に基づき人体HMの着地を判定してもよい。
【0040】
また、着地判定部9は、例えば、変位算出部8が算出したかかとQ4の位置の時間変化に基づいて、着地を判定する。例えば、歩行等において脚部Q1のうちかかとQ4は他の部位(例、つま先Q3)よりも先に着地し、検出システム1は、着地を高精度で判定可能である。なお、着地判定部9は、例えば、変位算出部8が算出したかかとQ4以外の部位の位置の時間変化に基づいて、着地を判定してもよい。なお、着地判定部9は、左足と右足とのうち、一方の足の着地のみを判定してもよい。
【0041】
また、着地判定部9は、上記の着地判定の処理に加え、前回など過去に検出(測定)したユーザ(例、自分、見本(教師)となる人)の人体HMの検出結果(例、過去の撮像画像)を用いて現在において検出した検出結果(例、現在の撮像画像及びその着地判定結果)と比較して、それら撮像画像同士のターゲット部分(例、脚部や腕部)における類似度から人体HMの着地を推定して判定してもよい。この場合、上記の記憶部10は、検出したタイミング等において、過去に検出(測定)したユーザの人体HMの検出結果(例、過去の撮像画像)を人体HMごとに記憶するように構成される。
【0042】
処理装置3の少なくとも一部(例、処理部7、変位算出部8、着地判定部9)は、検出装置2による人体HMの検出が完了した後に、処理を実行してもよい。また、処理装置3の少なくとも一部は、検出装置2による人体HMの検出処理の少なくとも一部と並行して、処理を実行してもよい。例えば、検出部5は、人体HMを撮像するたびに撮像画像のデータを出力し、処理部7は、検出装置2から撮像画像のデータが出力されるたびに、次の撮像処理と並行して人体HMの位置を検出してもよい。
【0043】
[第2実施形態]
第2実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。
図5は、実施形態に係る検出装置を示す図である。本実施形態において、検出装置2は、人体HMの各部からの距離を光学的に検出する。検出装置2は、例えば、モーションキャプチャ装置でもよく、人体HMの形状を検出してもよい。検出装置2は、例えば、検出部5、処理部7、及び記憶部6を備える。
【0044】
検出部5は、例えば、デプスセンサなどの測距器である。検出部5は、例えば、所定の視点(例、検出部5の位置、視点)から人体HMの表面上の各点までの距離を検出する。検出部5は、例えば、TOF(time of flight)法によって距離を検出する。検出部5は、その検出結果(例、位置情報)として、例えば距離の分布を示す位置情報を出力する。上記の位置情報は、例えば、デプス情報(例、デプス画像のデータ、奥行き情報)を含む。検出部5は、例えば、人体HMの複数の部位の三次元的な位置情報を出力する。
【0045】
なお、検出部5は、TOF法以外他の手法で距離を検出するデバイスでもよい。検出部5は、例えば、レーザスキャナ(例、レーザ測距器)を含み、レーザスキャンによって距離を検出するデバイスでもよい。検出部5は、例えば、人体HMが通る領域に所定のパターンを投影し、このパターンの検出結果をもとに距離を測定するデバイスでもよい。検出部5は、例えば、位相差センサを含み、位相差法によって距離を検出するデバイスでもよい。検出部5は、例えば、DFD(depth from defocus)法によって距離を検出するデバイスでもよい。また、検出部5は、例えばステレオカメラなどによって複数の視点から人体HMを撮像した撮像画像を用いて、三角測量によって距離を検出するデバイスでもよい。検出部5は、上述した複数の検出法のうち2以上を組み合わせて、人体HMを検出するデバイスでもよい。検出部5は、距離を検出するセンサ、及び第1実施形態で説明したイメージセンサを含んでもよい。
【0046】
図6は、実施形態に係る処理部の処理を示す図である。検出部5(
図5参照)は、例えば、デプス画像Im2のデータを出力する。デプス画像Im2において、各画素の画素値は、例えば、デプス画像Im2上の画素の位置に相当する実空間上の点と検出部5との距離を表す。例えば、
図6のデプス画像Im2はグレースケールで表されており、暗い部分は、明るい部分よりも検出部5からの距離が離れている。
【0047】
処理部7(
図5参照)は、検出部5の検出結果に基づいて、人体HMの位置を検出(算出)する。処理部7は、例えば、デプス画像Im2のデータを処理(例、透視変換処理、射影変換処理)することによって、人体HMの形状を示す形状情報を生成(算出)する。形状情報は、例えば、点群データを含む。点群データは、例えば人体HMの表面の複数の点データを含む。例えば、複数の点データは、それぞれ3次元座標で表される。
【0048】
処理部7は、形状情報としてサーフェス情報を算出してもよい。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、ドローデータなどである。サーフェス情報は、例えば、複数の点の座標と複数の点間の連結情報とを含む。連結情報は、例えば、物体(例、人体HM)の稜線(例、エッジ)に相当する線の両端の点を互いに関連付ける情報を含む。連結情報は、例えば、物体上の面の輪郭に相当する複数の線を互いに関連付ける情報を含む。
【0049】
処理部7は、例えば、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定し、点群データを点間の平面情報を持つポリゴンデータに変換してもよい。処理部7は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。
【0050】
処理部7は、検出部5の検出結果に基づいて、人体HMの特徴部位(例、特徴点)の位置情報PDを生成する。人体HMの特徴部位は、例えば、人体HMの他の部位と区別可能な部位である。人体HMの特徴部位は、例えば、人体HMの末端部、関節、又は末端部と関節との間もしくは2つの関節の間の中間部の少なくとも1つを含む。人体HMの末端部は、例えば、つま先Q3、頭Q9、手先Q10、などである。また、人体HMの関節は、例えば、腰Q2、膝Q5、肩Q7、肘Q11、手首Q12、などである。また、人体HMの中間部は、例えば、首Q13、肩中央Q14、背骨Q15、腰中央Q16などである。
【0051】
処理部7は、例えば、点群データを用いた認識処理(例、パターン認識、形状認識、骨格認識)等によって、上記の特徴部位の位置情報PDを生成する。特徴部位の位置情報は、例えば、特徴部位を代表する点の座標(例、3次元座標)を含む。例えば、処理部7が生成する特徴部位の位置情報は、脚部Q1の少なくとも一部の座標を含む。脚部Q1は、例えば、腰Q2からつま先Q3までの部位である。処理部7は、例えば、腰Q2の座標、膝Q5の座標、かかとQ4の座標、つま先Q3の座標の少なくとも1つを含む位置情報PDを生成する。処理部7は、例えば、上記の認識処理によって、特徴部位を表す点の座標を算出する。
【0052】
処理部7は、例えば、特徴部位のそれぞれについて、特徴部位の名称と、特徴部位の位置と、検出部5の検出タイミングとを関連付けたデータを生成する。処理部7は、例えば、特徴部位の名称と検出部5の検出タイミングとを関連付けた変数に、特徴部位の座標を格納する。例えば、左のかかとQ4の変数名は、ALnで表される。例えば、ALは、左のかかとであることを表し、nは、位置情報のもとになる検出部5の検出タイミング(例、検出した順番)に基づいて割り付けられる番号(例、1、2、3・・・)である。処理部7は、例えば、n番目の検出結果から得られる左のかかとQ4の座標を、ALnに格納する。処理部7は、例えば、予め設定された特徴部位の位置情報を組にした位置情報PD(例、テーブルデータ)を生成する。位置情報PDは、例えば、同じ検出タイミングの検出結果から得られる複数の特徴部位の位置情報を含む。
【0053】
図5の説明に戻り、検出装置2は、処理部7が生成した位置情報を外部に出力する。例えば、処理部7は、生成した位置情報を記憶部6に記憶させる。検出装置2は、例えば、記憶部6に記憶された位置情報を処理装置3に出力する。処理装置3は、検出装置2から出力された位置情報を記憶部10に記憶させる。
【0054】
変位算出部8は、検出部5の検出結果の時間変化(時間の変化量)を算出する。例えば、変位算出部8は、検出装置2から出力された特徴部位の位置情報を用いて、検出部5の検出結果の時間変化を算出する。変位算出部8は、例えば、記憶部10に記憶された位置情報を読み出して、検出部5の検出結果の時間変化を算出する。例えば、変位算出部8は、(n-1)番目の検出結果に対応する左のかかとの位置(ALn-1)と、n番目の検出結果に対応する左のかかとの位置(ALn)との差分を、左のかかとの位置の時間変化量として算出する。変位算出部8は、例えば、算出した特徴部位の位置の時間変化を記憶部10に記憶させる。
【0055】
着地判定部9は、変位算出部8の算出結果に基づいて人体HMの着地を判定する。着地判定部9は、例えば、記憶部10に記憶された特徴部位の時間変化を読み出し、人体HMの着地を判定する。以下の説明において、人体HMが着地したタイミングとして着地判定部9が認識するタイミングを着地タイミングという。着地タイミングは、例えば、その元になる検出部5の検出結果の番号(例、フレーム番号)で表されてもよいし、時刻で表されてもよい。
【0056】
着地判定部9は、その判定結果を出力する。着地判定部9の判定結果は、例えば、任意のタイミングにおいて着地の状態であるか否かの情報と、上記の着地タイミングとの一方又は双方を含む。着地判定部9は、例えば、その判定結果を運動解析部11に出力する。着地判定部9は、その判定結果を記憶部10に記憶させてもよい。なお、判定結果は、ヘッダ情報や識別番号などを含んでもよい。着地判定部9は、判定結果と、ヘッダ情報や識別番号などとを関連付けて記憶部10に記憶させてもよい。
【0057】
なお、着地判定部9は、変位算出部8の算出結果に基づいて、着地から脱した状態(以下、離地という)を検出してもよい。離地(非着地)は、例えば、支持面G(例、地面、床面)から離れて浮いた状態(非着地状態)である。着地判定部9は、離地を判定してもよい(離地判定処理を実行してもよい)。以下の説明において、人体HMが離地したタイミング(着地から脱したタイミング)として着地判定部9が認識するタイミングを離地タイミングという。離地タイミングは、例えば、その元になる検出部5の検出結果の番号(例、フレーム番号)で表されてもよいし、時刻で表されてもよい。着地判定部9の判定結果は、離地タイミングを含んでもよい。
【0058】
本実施形態において、処理装置3は、運動解析部11を備える。運動解析部11は、人体HMの着地を着地判定部9が検出したことを示す検出信号をトリガーとして、検出部5の検出結果を用いて人体HMの運動を解析する。例えば、運動解析部11は、着地判定部9の検出結果に基づいて、人体HMが着地したタイミングに応じた検出部5の検出結果を用いて人体HMの運動を解析する。運動解析部11は、例えば、上記の着地タイミングに応じて選択される検出部5の検出結果に基づいて、人体HMの運動を解析する。例えば、着地判定部9は、検出部5の第1検出タイミングにおける検出結果を用いて、人体HMが着地したと判定する。この場合、運動解析部11は、上記の第1検出タイミングに基づいて選択される検出部5の検出結果を用いて、人体HMの運動を解析する。なお、運動解析部11は、上記検出信号がない場合(着地していない非着地状態)、人体HMの運動を解析しない。
【0059】
運動解析部11は、所定面における人体HMの着地に付随する運動を解析(例、検出)する。例えば、運動解析部11は、脚部Q1が着地する際の脚部Q1の運動を解析する。運動解析部11は、例えば、着地判定部9が着地の判定処理に用いる人体HMの部位の位置と別の部位の位置とを用いた演算によって、人体HMの運動を解析する。例えば、着地判定部9は、第1の部位(例、かかと)の位置を用いて着地の判定処理を実行し、運動解析部は、第1の部位と異なる第2の部位(例、膝)の位置とを用いて、運動を解析する。運動解析部は、第1の部位の位置と第2の部位(例、膝)の位置とを用いて、運動を解析してもよい。
【0060】
運動解析部11は、例えば、脚部Q1のプロネーション(回内運動、回外運動)を解析(例、検出)する。プロネーションは、例えば歩行あるいは走行において脚部が着地する際に、脚部が着地の衝撃を受け止める一連の運動(動作)である。プロネーションは、例えば、着地の際に脚部Q1(例、腰から足首までの部分)が人体HMの中心に対して同じ側(内側)又は反対側(外側)に傾く運動である。
【0061】
プロネーションは、例えば、着地の際に脚部Q1が傾くレベルによって、オーバープロネーション、ニュートラル、アンダープロネーションの3つの状態に分類される。オーバープロネーションは、土踏まずのアーチ構造が潰れるように、脚部が内側に向かって、所定の範囲を超えて傾く状態である。アンダープロネーションは、脚部が外側に向かって、所定の範囲を超えて傾く状態である。ニュートラルは、脚部の傾きが内側又は外側の所定の範囲に収まる状態である。以下の説明において、着地の際に脚部Q1が傾くレベルを、適宜、プロネーションのレベルという。
【0062】
プロネーションのレベルによっては、脚部Q1に負担がかかる場合がある。例えば、オーバープロネーションは、脚部Q1の捻挫、疲労骨折などの原因となる場合がある。プロネーションのレベルを補正するには、例えば、着地の際の脚部の傾きを調整する靴が用いられる。例えば、オーバープロネーションは、土踏まずをサポートするインソールを有する靴によって、ニュートラルに補正される。例えば、ランニング等の分野において、専門家(例、トレーナー)は、補正しない状態のプロネーションを目視によって観察し、プロネーションのレベルを判断する。例えば、専門家が判断したプロネーションのレベルに基づいた靴の選択によって、プロネーションが補正される。
【0063】
運動解析部11は、例えば、人体HMが着地したタイミングに基づいた検出部5の検出結果から得られる人体HMの脚部の膝の位置を用いて、人体HMの運動として脚部Q1のプロネーションを検出する。運動解析部11は、例えば、検出部5の検出結果から得られる膝Q5の位置と基準とを比較して、プロネーションのレベルを示す指標値を算出する。
【0064】
図7は、実施形態に係る処理装置の処理を示す図である。
図7において、横軸は時刻である。検出部5は、例えば、ユーザの指令によって検出を開始し、所定の時間間隔で検出を繰り返す。
図7において、符号ALは、検出部5の検出結果から得られる左足のかかとQ4(
図6参照)の位置である。左足のかかとQ4の位置ALは、例えば、検出部5が出力するデプス画像Im2(
図6参照)のデータを処理部7が処理することで得られる。
【0065】
変位算出部8は、かかとQ4の位置ALの時間変化を算出する。着地判定部9は、例えば、変位算出部8が算出したかかとQ4の位置ALの時間変化を監視する。着地判定部9は、
図3で説明したように、変位算出部8が算出したかかとQ4の位置ALの時間変化に基づいて、着地を判定する。
図7において、符号t11は、人体HMが着地した時刻として着地判定部9が認識する時刻(着地タイミング)である。例えば、着地判定部9は、時刻t11における検出部5の検出(例、今回の検出)から得られるかかとQ4の位置ALと、時刻t11よりも前の検出部5の検出(例、前回の検出)から得られるQ4の位置ALとの差が閾値TH(
図3参照)以下である場合に、時刻t11において着地したと判定する。
【0066】
また、符号t12は、人体HMが離地した時刻として着地判定部9が認識する時刻(離地タイミング)である。例えば、着地判定部9は、時刻t12における検出部5の検出(例、今回の検出)から得られるかかとQ4の位置ALと、時刻t12よりも前の検出部5の検出(例、前回の検出)から得られるQ4の位置ALとの差が閾値TH(
図3参照)を超える場合に、時刻t12において着地したと判定する。また、符号T1は、人体HMが着地している期間として着地判定部9が認識する期間(以下、着地期間という)である。着地期間T1は、着地タイミング(例、時刻t11)から離地タイミング(例、時刻t12)までの期間である。
【0067】
また、
図7において、符号ΔKLは、左足の膝Q5(
図6参照)の水平方向の位置の変化量(例、膝Q5の位置の差分値、時間微分値などのパラメータ)である。ここでは、膝Q5が人体HMの中心に対して内側へ向かう際の変化量ΔKLを正(+)とし、膝Q5が人体HMの中心に対して外側へ向かう際の変化量ΔKLを負(-)とした。例えば、変化量ΔKLは、正である場合に回内運動(例、オーバープロネーション)であることを表し、負である場合に回外運動(例、アンダープロネーション)であることを表す。
【0068】
変化量ΔKLは、例えば、検出部5が出力するデプス画像Im2(
図6参照)のデータを処理部7が処理して得られる膝Q5の位置を、変位算出部8が処理して得られる。運動解析部11は、例えば、着地期間に関連付けられる期間における運動(例、プロネーション)を検出する。例えば、運動解析部11は、着地期間T1の少なくとも一部におけるプロネーションを検出する。例えば、運動解析部11は、着地タイミング(例、時刻t11)と離地タイミング(例、時刻t12)との一方又は双方に対して予め定められた所定の期間T2におけるプロネーションを検出する。所定の期間T2は、例えば、着地タイミング(例、時刻t11)を起点して予め定められた長さの期間である。
【0069】
運動解析部11は、例えば、所定の期間T2における検出部5の検出結果から得られる膝Q5の位置情報を取得(例、抽出、監視)する。所定の期間T2における検出部5の検出結果は、人体HMが着地したタイミング(例、時刻t11)よりも後に検出部5が人体HMを検出した検出結果を含む。膝Q5の位置情報は、例えば、検出部5の検出結果を処理部7が処理して得られる膝Q5の位置(例、座標)と、膝Q5の位置情報を変位算出部8が処理して得られる膝Q5の位置の時間変化(例、変化量ΔKL、膝Q5の速度)と、変化量ΔKLの時間変化(例、加速度)との少なくとも1つを含む。
【0070】
運動解析部11は、例えば、膝Q5の位置情報として、変位算出部8が算出する膝Q5の位置の変化量ΔKLを監視する。所定の期間T2における膝の位置情報(例、変化量ΔKL)は、例えば、プロネーションのレベルを表す指標値として利用可能である。例えば、変化量ΔKLが正である状態は、膝がQ5内側に向かうように脚部Q1が傾く状態に相当する。例えば、変化量ΔKLが所定値よりも大きい状態は、オーバープロネーションに相当する。例えば、変化量ΔKLが負である状態は、膝Q5が外側に向かうように脚部Q1が傾く状態に相当する。例えば、変化量ΔKLが所定値よりも小さい状態は、アンダープロネーションに相当する。
【0071】
運動解析部11は、例えば、上記の指標値として、所定の期間T2における変化量ΔKLの統計量(例、最大値、積算値、平均値)を算出する。運動解析部11は、1回の着地に対する指標値を算出してもよいし、複数回の着地のそれぞれに対する指標値を算出してもよい。また、運動解析部11は、複数回の着地のそれぞれに対する個別の指標値を算出し、さらに、算出した個別の指標値の統計量(例、最大値、平均値、積算値)を指標値として算出してもよい。運動解析部11は、例えば、膝Q5の位置情報として上記の指標値を算出してもよい。
【0072】
運動解析部11は、例えば、所定の期間T2における膝Q5の位置情報(例、変化量ΔKL)と第1の閾値TH1とを比較する。第1の閾値THは、膝Q5が人体HMの中心に対して内側へ向かう際の値を正(+)として、正の値に設定される。運動解析部11は、例えば
図7(A)に示すように所定の期間T2における変化量ΔKLが第1の閾値TH1を超える場合、プロネーションがオーバープロネーションに該当すると判定する。
【0073】
また、運動解析部11は、例えば、所定の期間T2における膝Q5の位置情報(例、変化量ΔKL)と第2の閾値TH2とを比較する。第2の閾値TH2は、膝Q5が人体HMの中心に対して外側へ向かう際の値を負(-)として、負の値に設定される。運動解析部11は、例えば、例えば
図7(B)に示すように所定の期間T2における変化量ΔKLが第2の閾値TH2よりも小さい場合、プロネーションがアンダープロネーションに該当すると判定する。また、運動解析部11は、例えば
図7(C)に示すように、所定の期間T2における変化量ΔKLが第2の閾値TH2以上第1の閾値以下の範囲内である場合、プロネーションがニュートラル(ノーマル)であると判定する。
【0074】
なお、運動解析部11は、変化量ΔKLと閾値との大小関係と異なる判定基準を用いて、プロネーションを判定してもよい。例えば、運動解析部11は、変化量ΔKLが閾値を超える頻度に基づいて、プロネーションを判定してもよい。例えば、運動解析部11は、変化量ΔKLが第1の閾値TH1を超え頻度(例、回数)を計数し、この頻度が所定値を超える場合にプロネーションがオーバープロネーションに該当すると判定してもよい。運動解析部11は、変化量ΔKLと閾値との大小関係と、上記の頻度との双方を用いて、プロネーションを判定してもよい。また、運動解析部11は、上記の基準として、膝Q5の位置のサンプル(例、画像、座標)を用いて、プロネーションを検出してもよい。
【0075】
なお、上記の閾値(第1の閾値TH1、第2の閾値TH2)は、固定値でもよいし、可変値でもよい。例えば、上記の閾値は、ユーザの入力などによって指定される可変値でもよい。上記の閾値は、例えば、検出対象の人体HMの寸法(例、身長、足の長さ)に基づいて設定されてもよい。例えば、検出システム1は、検出対象の人体HMの情報(例、身長)の入力を受け付け、入力された情報に基づいて上記の閾値を設定してもよい。例えば、記憶部10は、人体の身長と上記の閾値とを関連付けた参照情報(例、テーブルデータ)を記憶してもよい。運動解析部11は、入力された検出対象の人体HMの情報と上記の参照情報とを比較して、上記の閾値を設定してもよい。上記の閾値と上記の参照情報との一方又は双方は、処理装置3の外部の装置(例、外部のデータベース)から供給されてもよい。
【0076】
なお、運動解析部11は、膝の位置の時間変化(例、変化量ΔKL)と別のパラメータを用いて、プロネーションを検出してもよい。
図8は、変形例に係る運動解析部の処理を示す図である。
図8(A)のXYZ直交座標系において、Z方向は人体HMの移動方向である。人体HMの移動方向は、例えば、検出部5の検出方向との角度が予め設定されている。検出部5の検出方向(後に
図12に示す)は、検出部5の検出範囲の中心(例、視野中心、画角中心)と検出部5とを結ぶ方向である。X方向は、人体HMの移動方向に交差(例、直交)する方向である。Y方向は、例えば、人体HMの高さ方向(例、鉛直方向)である。
【0077】
図8において、原点Oは、例えば検出部5の位置である。また、HLn、KLn、及びALnは、それぞれ、XYZ直交座標系において人体HMの特徴部位の位置を示す位置ベクトルである。これらの位置ベクトルは、例えば、処理部7が算出する特徴部位の位置情報を、適宜、座標変換することで得られる。HLnは、検出部5のn番目の検出結果から得られる左側の腰Q2(
図6参照)の位置ベクトルである。KLnは、検出部5のn番目の検出結果から得られる左足の膝Q5(
図6参照)の位置ベクトルである。ALnは、検出部5のn番目の検出結果に対応する左足のかかとQ4(
図6参照)の位置ベクトルである。
【0078】
運動解析部11は、検出部5の検出結果から得られる膝Q5の位置と、基準BLとを比較して、プロネーションを検出する。基準BLは、例えば、検出部5が検出する人体HMの脚部Q1における上体側の端部(例、腰Q2)とかかとQ4とを結ぶ線である。運動解析部11は、例えば、基準BLに対する膝Q5の位置を検出して、プロネーションを検出する。例えば、運動解析部11は、基準BLに対して膝Q5が配置される側を検出することで、プロネーションがオーバープロネーション、ニュートラル、又はアンダープロネーションのいずれに該当するかを判定する。
【0079】
また、運動解析部11は、検出部5の検出結果から得られる膝Q5の位置と、基準BLとを比較して、プロネーションのレベルを示す指標値を検出する。
図8(A)において、ベクトルV1nは、かかとQ4と腰Q2とを結ぶベクトル(基準)である。また、ベクトルV2nは、かかとQ4と膝Q5とを結ぶベクトルである。
図8(B)に示すように、ベクトルV1nは、腰Q2の位置ベクトルHLnと、かかとQ4の位置ベクトルALnとの差である。また、ベクトルV2nは、膝Q5の位置ベクトルKLnと、かかとQ4の位置ベクトルALnとの差である。
【0080】
運動解析部11は、プロネーションの指標値として、例えば、ベクトルV1nとベクトルV2nとの角度θln、又は角度θlnを変数とする関数の値を算出する。例えば、運動解析部11は、プロネーションの指標値としてcosθlnを算出する。cosθlnは、
図8(C)に示すように、ベクトルV1nとベクトルV2nとの内積を、ベクトルV1nの大きさ及びベクトルV2nの大きさで除算することで、算出される。指標値(cosθln)が0に近い場合、θlnの絶対値が0に近いことに相当し、例えば、プロネーションがニュートラルであることを表す。また、指標値(cosθln)が大きい場合、θlnの絶対値が大きいことに相当し、例えば、プロネーションがオーバープロネーションであることを表す。
【0081】
なお、運動解析部11は、角度θlnを変数とする関数の値として、cosθlnの時間変化量を用いてもよい。また、運動解析部11は、角度θln以外の角度を指標値に用いてもよい。例えば、運動解析部11は、膝Q5とかかとQ4とを結ぶ線(例、ベクトル)と、膝Q5と腰Q2とを結ぶ線(例、ベクトル)との角度αを指標値に用いてもよい。また、運動解析部11は、腰Q2と膝Q5とを結ぶ線(例、ベクトル)と、と腰Q2とかかとQ4とを結ぶ線(例、ベクトル)との角度βを指標値に用いてもよい。また、運動解析部11は、角度θlnと角度αと角度βとの2つ以上を指標値に用いてもよい。
【0082】
なお、運動解析部11は、少なくとも1つのプロネーション状態(オーバープロネーション、ニュートラル、又はアンダープロネーション)について、2以上の段階で評価してもよい。例えば、運動解析部11は、オーバープロネーションの程度を、複数のレベル(例、1、2、3・・・)で表してもよい。
【0083】
なお、運動解析部11は、着地タイミングと同時に、又は着地タイミングよりも前に検出部5が人体を検出した検出結果と、着地タイミングよりも後に検出部5が人体を検出した検出結果とを比較して、人体HMの運動を検出してもよい。例えば、右足が離地である状態において、右足は、支持面Gから直接的な拘束を受けない。右足が離地である状態における基準と膝との相対位置は、例えば、着地によるプロネーションがない状態における基準と膝との相対位置として利用可能である。例えば、運動解析部11は、離地した状態と着地した状態とで基準と膝との相対位置を比較し、プロネーションを検出してもよい。運動解析部11は、右足と左足とのそれぞれについてプロネーションを検出してもよいし、一方の足についてのみプロネーションを検出してもよい。
【0084】
図5の説明に戻り、運動解析部11は、例えば、解析結果を記憶部10に記憶させる。運動解析部11は、例えば、プロネーションがオーバープロネーション、ニュートラル、又はアンダープロネーションのいずれに該当するかを示す解析結果を記憶部10に記憶させる。また、運動解析部11は、例えば、プロネーションの指標値を記憶部10に記憶させる。
【0085】
表示装置4は、処理装置3の処理結果(例、運動解析部11の解析結果)を表示する。例えば、処理装置3は、プロネーションの情報を示す画像のデータを表示装置4に供給する。例えば、処理装置3は、プロネーションがオーバープロネーション、ニュートラル、又はアンダープロネーションのいずれに該当するかを示す画像のデータを表示装置4に供給する。また、処理装置3は、プロネーションの指標値を示す画像のデータを表示装置4に供給する。表示装置4は、処理装置3から供給される画像のデータに基づいて、画像を表示する。処理装置3は、表示装置4と別の装置にプロネーションの情報を供給してもよい。例えば、処理装置3は、通信回線(例、インターネット回線)を介して、プロネーションの情報を送信してもよい。
【0086】
次に、上述の検出システム1の動作に基づき、実施形態に係る検出方法について説明する。
図9は、実施形態に係る検出方法を示すフローチャートである。ステップS1からステップS5の処理については、
図4と同様である。ステップS4において、着地したと着地判定部9が判定した後、運動解析部11は、ステップS11において人体HMの運動を解析する。運動解析部11は、例えば、着地期間T1の少なくとも一部についてプロネーションを検出する。運動解析部11は、例えば、プロネーションがオーバープロネーション、ニュートラル、又はアンダープロネーションのいずれに該当するかを判定する。運動解析部11は、例えば、プロネーションのレベルを示す指標値を算出する。ステップS12において、表示装置4は、処理装置3の処理結果を表示する。例えば、処理装置3は、プロネーションの情報を示す画像のデータを表示装置4に供給する。表示装置4は、処理装置3から供給された画像のデータに基づいて、この画像を表示する。
【0087】
上述の実施形態において、検出システム1の少なくとも一部(例、処理装置3)は、コンピュータシステムを含んでもよい。処理装置3は、記憶部6に記憶されている検出プログラムを読み出し、この検出プログラムに従って各種の処理を実行してもよい。この検出プログラムは、例えば、コンピュータに、移動する人体HMを検出した検出結果の時間変化を算出することと、時間変化に基づいて人体HMの着地を判定することと、人体HMの着地の判定結果に基づいて、人体HMの運動を解析することと、を実行させる。この検出プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
【0088】
なお、検出システム1は、プロネーション以外の項目について検出を実行してもよい。例えば、検出システム1は、人体HMの移動速度を検出してもよい。例えば、検出システム1(例、変位算出部8)は、人体HMの特徴部位(例、
図6の腰中央Q16、頭Q9)の位置の時間変化を、移動速度として算出してもよい。
【0089】
また、検出システム1は、所定方向の歩幅を検出してもよい。例えば、検出システム1(例、変位算出部8)は、人体HMの移動方向において、一方の足(例、右足)の任意の着地タイミングにおける一方の足の位置から、他方の足(例、左足)の次の着地タイミングにおける他方の足の位置までの距離を歩幅として算出してもよい。検出システム1は、重複歩幅(重複歩長)を算出してもよい。例えば、検出システム1(例、変位算出部8)は、一方の足(例、右足)の任意の着地タイミングにおける一方の足の位置から、一方の足の次の着地タイミングにおける一方の足の位置までの距離を重複歩幅として算出してもよい。
【0090】
また、検出システム1は、所定方向の歩隔を検出してもよい。例えば、例えば、検出システム1(例、変位算出部8)は、人体HMの移動方向に直交する方向において、一方の足(例、右足)の任意の着地タイミングにおける一方の足の位置から、他方の足(例、左足)の次の着地タイミングにおける他方の足の位置までの距離を歩隔として算出してもよい。
【0091】
また、検出システム1は、上体のぶれを検出してもよい。例えば、検出システム1(例、処理部7)は、
図6に示した腰中央Q16に対する頭Q9の相対位置を算出してもよい。また、検出システム1(例、変位算出部8)は、
図6に示した腰中央Q16に対する頭Q9の相対位置の時間変化を算出してもよい。
【0092】
また、検出システム1は、例えば人体HMの静止状態において、人体HMの姿勢を検出してもよい。例えば、検出システム1は、例えば
図8で説明したように、基準BLと膝Q5との相対位置を検出し、左右の脚部がX脚、O脚、平行脚のいずれの傾向にあるかを判定してもよい。また、検出システム1は、かかとに対するつま先の向き(内側:Toe-in、外側:Toe-out、平行:ニュートラル)を検出してもよい。
【0093】
検出システム1は、上述した項目の1又は2以上について検出を実行してもよい。また、検出システム1は、上述した項目についての検出を実行しなくてもよい。なお、処理装置3は、検出システム1の少なくとも一部(例、検出装置2)と別に提供されてもよい。また、処理装置3は、検出装置2の少なくとも一部(例、処理部7)を備えてもよい。
【0094】
[第3実施形態]
第3実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。
図10は、実施形態に係る検出システム
1を示す図である。検出システム1は、方向検出部12を備える。
【0095】
方向検出部12は、検出部5の検出結果に基づいて人体HMの移動方向D1を検出する。方向検出部12は、例えば、着地判定部9の判定結果に基づいて、人体HMの移動方向D1(進行方向、運動方向)を検出する。例えば、方向検出部12は、第1の着地タイミングにおける左足(例、かかとQ4)の位置を取得する。また、方向検出部12は、第1の着地タイミングより後の第2の着地タイミングにおける左足(例、かかとQ4)の位置を取得する。方向検出部12は、第1の着地タイミングと第2の着地タイミングとの間における左足の位置の変化(例、ベクトル)を算出する。このベクトルは、左足の移動方向に相当する。
【0096】
方向検出部12は、例えば、右足について左足と同様に移動方向を算出する。方向検出部12は、例えば、左足の移動方向と、右足の移動方向との平均を算出することで、人体HMの移動方向D1を算出する。なお、方向検出部12は、左足と右足との一方のみの移動方向を、人体HMの移動方向D1として算出してもよい。方向検出部12は、例えば、検出した移動方向D1を記憶部10に記憶させる。方向検出部12は、例えば、検出した移動方向を運動解析部11に出力する。
【0097】
本実施形態において、運動解析部11は、方向検出部12の検出結果を用いて人体HMの運動を解析する。人体HMの移動方向は、例えば、予め定められていなくてもよい。運動解析部11は、例えば、
図8で説明した処理において、方向検出部12が検出した移動方向D1をZ方向として人体HMの特徴部位の座標を変換する。運動解析部11は、例えば、変換された特徴部位の座標を用いて、運動を解析する。
【0098】
なお、方向検出部12は、検出部5が検出する脚部Q1以外の部位の位置を用いて移動方向D1を検出してもよい。例えば、方向検出部12は、人体HMの頭Q9の位置の時間変化を用いて、移動方向D1を検出してもよい。また、方向検出部12は、着地タイミングごとに移動方向を検出してもよい。例えば、方向検出部12は、任意の着地タイミングにおけるかかとQ4の位置と、その次の着地タイミングにおけるかかとQ4の位置との比較によって、2つの着地タイミングの間の移動方向を検出してもよい。また、運動解析部11は、着地タイミングごとに方向検出部12が検出する移動方向を用いて、運動を解析してもよい。また、方向検出部12は、着地タイミングを用いないで移動方向D1を検出してもよい。
【0099】
次に、実施形態にかかる検出部5の検出方向について説明する。
図11は、実施形態に係る検出部の配置を示す図である。検出部5の検出方向D2は、例えば、検出部5の検出範囲の中心線の方向である。検出部5は、着地判定に用いられる人体HMの特徴部位が検出範囲FVを通るように、配置される。また、運動解析部11がプロネーションを検出する場合、検出部5は、移動方向D1に交差する方向(例、X方向)における膝の変位を検出可能なように配置される。例えば、検出部5は、撮像によって人体HMを検出する場合、移動方向D1と検出方向D2との角度φが0°よりも大きく90°よりも小さくなるように、配置される。
【0100】
移動方向D1と検出方向D2との角度φは、検出部5が人体HMの三次元的な位置を検出する場合、0°以上90°以下の任意の角度に設定されてもよい。また、移動方向D1が予め設定されず、検出システム1は、移動方向D1を検出してもよい。
【0101】
また、
図11(B)に示すように、検出部5は、例えば、撮像によって人体HMを検出する複数の検出部(例、第1検出部5a、第2検出部5b)を備えてもよい。第1検出部5aは、例えば、移動方向D1と検出方向D2aとが平行になるように、配置されてもよい。第2検出部5bは、例えば、移動方向D1と検出方向D2bとが直交するように、配置されてもよい。着地判定部9は、例えば、第2検出部5bの検出結果に基づいて、着判定処理を行ってもよい。また、運動解析部11は、例えば、第1検出部5aの検出結果に基づいて、プロネーションを検出してもよい。
【0102】
[第4実施形態]
第4実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。
図12は、実施形態に係る検出システム
1を示す図である。本実施形態において、処理装置3は、通信部21(送信部)を備える。通信部21は、着地判定部9の処理結果の少なくとも一部を外部に送信する。着地判定部9は、移動する人体HMを光学的に検出した検出結果の時間変化に基づいて、人体HMの着地タイミングを検出(例、推定)する。通信部21は、着地判定部9の処理結果として、人体HMの着地タイミングを送信する。
【0103】
また、検出システム1は、処理装置25を備える。処理装置25は、通信部26(受信部と送信部)及び解析部27を備える。通信部26は、移動する人体HMを光学的に検出した検出結果の時間変化に基づいて人体HMの着地を判定した着地タイミングを受信する。通信部26は、有線又は無線によって処理装置3の通信部21と通信可能に接続される。通信部26は、処理装置3の通信部21から、着地判定部9が検出した人体HMの着地タイミングを受信する。
【0104】
解析部27は、通信部26が受信した着地タイミングに基づいて、人体HMの脚部Q1のプロネーションを解析する。解析部27は、着地タイミングを解析の開始信号とし、例えば
図5で説明した運動解析部11と同様の処理によって、プロネーションを解析する。例えば、処理装置3の通信部21は、変位算出部8が算出した変位情報を、処理装置25の通信部26へ送信する。解析部27は、通信部26が受信した着地タイミング及び変位情報に基づいて、脚部Q1のプロネーションを検出する。なお、通信部26は、検出装置2から検出結果(検出部5の検出結果、処理部7の処理結果)の少なくとも一部を受信してもよい。そして、解析部27は、通信部26が受信した着地タイミング、及び検出装置2の検出結果に基づいて、プロネーションを検出してもよい。
【0105】
処理装置25は、例えば、解析部27の解析結果を記憶部に記憶させる。処理装置25は、解析部27の解析結果を、外部の装置(例、表示装置)に出力してもよい。なお、処理装置25は、検出システム1の少なくとも一部と別に提供されてもよい。例えば、処理装置25は、処理装置3と別に提供されてもよい。また、処理装置25は、検出装置2と別に提供されてもよい。また、また、処理装置25は、検出装置2の少なくとも一部(例、検出部5、処理部7)を備えてもよい。
【0106】
また、運動解析部11は、上記の解析処理に加え、前回など過去に検出(解析)したユーザ(例、自分、見本(教師)となる人)の人体HMの脚部のプロネーションの解析結果(例、過去の解析結果)を用いて現在において解析した解析結果(例、現在の解析結果)と比較して、それら解析結果同士の脚部における類似度から人体HMの脚部のプロネーションを検出してもよい。この場合、上記の記憶部10は、解析したタイミング等において、過去に検出(解析)した人体HMの解析結果を人体HMの脚部ごとに記憶するように構成される。
【0107】
次に、実施形態に係る運動用マットについて説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。
図13は、実施形態に係る運動用マットを示す図である。運動用マット30は、移動する人体HMの移動範囲(例、運動範囲、支持面G)に配置される。運動用マット30は、例えば、シート状、マット状の部材である。運動用マット30は、例えば、エクササイズマット、ヨガマット、トレーニングマット、フィットネスマット、ゴルフや野球などのスウィング用マット)などである。運動用マット30は、例えば、ルームランナーなどの運動機器において、人体HMを支持する面に設けられてもよい。例えば、人体HMは、支持面G(例、支持面Gは競技用トラックの面、競技用の床などを含む)に敷かれた運動用マット30上で運動あるいは移動する。なお、運動用マット30は、支持面Gの全面又は一部に設定されてもよいし、支持面Gに全部又は部分的に埋め込まれてもよい。
【0108】
運動用マット30は、マット自体からの反射光のノイズを低減させるために、人体HMを光学的に検出する検出部5が感度を有する光の波長帯(例、赤外光の波長帯、可視光の波長帯、X線の波長帯)において人体HMよりも光(例、赤外光)の吸収率が高く構成されている。また、運動用マット30は、人体HMと比べて光(例、赤外光)の反射率が低く構成されている。例えば、検出部5は、所定の波長帯の光を人体HMに照射し、この光の照射によって人体HMから放射される光を検出する。上記の所定の波長帯は、例えば、赤外光(例、近赤外光)の波長帯を含む。人体HMから放射される光は、例えば、赤外光(例、近赤外光)を含む。運動用マット30は、例えば、検出部5から照射される光に対する吸収率が人体HMよりも高い。また、運動用マット30は、検出部5が感度を有する光の波長帯において人体HMとのコントラストの差が際立つような光学特性を備えるように構成されてもよい。
【0109】
図13(B)は、実施形態に係る運動用マットを示す断面図である。運動用マット30は、基材31、吸収層32、及び下地層33を含む。基材31は、例えば樹脂材料で形成される。上記の樹脂材料は、例えば、ニトリルゴム(NBR)、天然ゴム、熱可塑性エラストマー(TPE)、ポリ塩化ビニル(PVC)、ポリマー環境樹脂(PER)、及びエチレン酢酸ビニルコポリマー(EVA)の少なくとも1つを含む。
【0110】
吸収層32は、層内において一様に配置され、検出部5が感度を有する波長帯(例、赤外光の波長帯)において人体HMよりも吸収率が高い色素(材料)を含む。吸収層32は、例えば、800nm以上1200nm以下の波長帯又は750nm以上3000nm以下の波長帯に吸収極大を有する。上記の色素は、例えば、フタロシアニン系色素、金属錯体系色素、ニッケルジチオレン錯体系色素、シアニン系色素、スクアリリウム系色素、ポリメチン系色素、アゾメチン系色素、アゾ系色素、ポリアゾ系色素、ジイモニウム系色素、アミニウム系色素、及びアントラキノン系色素のうち1種又は2種以上を含む。吸収層32は、例えば、グラファイトを分散させた樹脂材料で形成されてもよい。
【0111】
下地層33は、例えば、支持面Gに対する摩擦係数が基材31よりも大きい材料で形成される。下地層33は、支持面Gとの滑りが抑制されるように、その表面に複数の微小な凹凸を有してもよい。
【0112】
運動用マット30は、例えば、ロール状に巻き回すことが可能なレベルの可撓性を有する。例えば、基材31、吸収層32、及び下地層33は、それぞれ、上記の可撓性を有するように材料が選択される。なお、
図13(B)に示した運動用マット30の構成は、一例であり、適宜変更可能である。例えば、運動用マット30は、吸収層32に対して基材31と反対側(例、運動用マット30の表面側)に、吸収層32を保護する保護層(例、抗菌や防汚のコーティング層)を含んでもよい。また、運動用マット30は、吸収層32に対して基材31と反対側(例、運動用マット30の表面側)に、反射防止層(例、ARコーティング)を含んでもよい。
【0113】
運動用マット30から検出部5に入射する光L1の強度は、例えば、人体HMから検出部5に入射する光L2の強度よりも弱い。検出部5は、例えば、運動用マット30上を移動する人体HMを高精度で検出可能である。例えば、検出部5を備える検出システムは、運動用マット30上を移動する人体HMの脚部と運動用マット30とを高精度で判別可能である。これ(例、脚部を高精度に判別した結果)を用いることによって、検出システム1は、上記した人体HMの着地判定(例、脚部の着地判定)や人体HMの運動解析(例、脚部のプロネーション解析)を更に高精度に処理することが可能である。この検出システムは、
図1などに示した検出システム1であってもよいし、検出システム1でなくてもよい。また、
図1などに示した検出システム1は、運動用マット30を備えてもよい。
【0114】
なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の1つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
【符号の説明】
【0115】
1・・・検出システム、2・・・検出装置、3・・・処理装置、4・・・表示装置
5・・・検出部、8・・・変位算出部、9・・・着地判定部、11・・・運動解析部、12・・・方向検出部、21・・・光学部材、BL・・・基準、D1・・・移動方向、HM・・・人体、Q1・・・脚部、Q4・・・かかと、Q5・・・膝