特開 2022-65241 運動可視化システムおよび運動可視化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022065241

(43)【公開日】2022-04-27

(54)【発明の名称】運動可視化システムおよび運動可視化方法

(51)【国際特許分類】

   A61B 5/107 20060101AFI20220420BHJP

   A61B 5/11 20060101ALI20220420BHJP

   G06T 7/20 20170101ALI20220420BHJP

【ＦＩ】

A61B5/107 300

A61B5/11 230

A61B5/11

A61B5/107 100

G06T7/20 300Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2020173653

(22)【出願日】2020-10-15

(71)【出願人】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテク

(74)【代理人】

【識別番号】110002066

【氏名又は名称】特許業務法人筒井国際特許事務所

(72)【発明者】

【氏名】田中 毅

(72)【発明者】

【氏名】福井 大輔

(72)【発明者】

【氏名】中川 弘充

(72)【発明者】

【氏名】豊村 崇

【テーマコード（参考）】

4C038

5L096

【Ｆターム（参考）】

4C038VA04

4C038VA12

4C038VB11

4C038VB14

4C038VB31

4C038VB35

4C038VC05

5L096CA04

5L096DA01

5L096FA64

5L096FA67

5L096HA05

(57)【要約】

【課題】複数の計測データの比較が可能な運動可視化システムを提供する。
【解決手段】運動可視化システム１は、対象者の関節座標を取得する骨格認識プログラム２と、関節座標に基づいて、対象者の歩行周期を抽出するピッチ抽出プログラム６と、抽出された１歩行周期において、対象者の所定の部位が移動する方向を進行方向の軸とした基準座標系に、関節座標の座標を変換し、対象者の情報に基づいて、関節座標を変換する骨格正規化プログラム３を格納した記憶部１０６を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象者の骨格座標情報を取得する骨格認識部と、
前記骨格座標情報に基づいて、前記対象者の歩行周期を抽出する周期抽出部と、
前記周期抽出部で抽出された１歩行周期において、前記対象者の所定の部位が移動する方向を進行方向の軸とした基準座標系に、前記骨格座標情報を変換し、前記対象者の情報に基づいて、前記骨格座標情報を変換する変換部と、
を備える、運動可視化システム。

【請求項2】

請求項１に記載の運動可視化システムにおいて、
前記対象者の前記情報は、前記対象者の身長、歩幅または身体の所定の部位の長さである、運動可視化システム。

【請求項3】

請求項２に記載の運動可視化システムにおいて、
前記変換部による変換により取得された骨格座標情報に基づいて、前記対象者の歩行の特徴を算出する歩行特徴算出部と、
前記対象者の歩行の特徴を表示する表示部と、
を、さらに備える、運動可視化システム。

【請求項4】

請求項３に記載の運動可視化システムにおいて、
前記表示部には、歩行に伴う前記対象者の所定の部位の移動軌跡が表示される、運動可視化システム。

【請求項5】

請求項４に記載の運動可視化システムにおいて、
前記表示部には、前記歩行周期における前記対象者の所定の部位の回旋の変化と、前記１歩行周期における前記対象者のふらつきと、が表示される、運動可視化システム。

【請求項6】

対象者の骨格座標の変化を取得する骨格認識工程と、
前記骨格座標の変化に基づいて、前記対象者の歩行周期を抽出する周期抽出工程と、
前記周期抽出工程で抽出された１歩行周期において、前記対象者の所定の部位が移動する方向を進行方向の軸とした基準座標系に、前記骨格座標を変換する座標変換工程と、
前記対象者の情報に基づいて、前記骨格座標を変換する骨格正規化工程と、
を備える、運動可視化方法。

【請求項7】

請求項６に記載の運動可視化方法において、
前記対象者の前記情報は、前記対象者の身長、歩幅または所定の部位の長さである、運動可視化方法。

【請求項8】

請求項７に記載の運動可視化方法において、
前記座標変換工程および前記骨格正規化工程で取得された骨格座標に基づいて、前記対象者の歩行の特徴を算出する歩行特徴算出工程と、
前記対象者の歩行の特徴を表示する表示工程と、
を、さらに備える、運動可視化方法。

【請求項9】

請求項８に記載の運動可視化方法において、
前記表示工程では、歩行に伴う前記対象者の所定の部位の移動軌跡が表示される、運動可視化方法。

【請求項10】

請求項９に記載の運動可視化方法において、
前記表示工程では、前記歩行周期における前記対象者の所定の部位の回旋の変化と、前記歩行周期における前記対象者のふらつきと、が表示される、運動可視化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運動可視化システムおよび運動可視化方法に関し、特に対象者の歩行動態を可視化する運動可視化システムおよび運動可視化方法に関する。

【背景技術】

【0002】

高齢化が進んでいる。高齢化社会においては、運動器疾患によるロコモティブシンドロームの増加が社会問題となっている。高齢化社会においても健康寿命の延伸を図るためには、対象者（高齢者、中高年者）の運動機能の衰えを早期に発見し、フィットネスクラブ、リハビリテーション施設等で適切な運動指導を行い、対象者の運動機能を改善することが望ましい。

【0003】

対象者の移動軌跡を表示する動作情報処理装置が、例えば特許文献１に記載されている。特許文献１には、画像から抽出した対象者の各部位の座標を基にして、対象者の足跡や所定の部位の移動軌跡を表示することが示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５－４２２４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１によれば、対象者の例えば特定の部位の移動軌跡を表示させることが可能である。しかしながら、対象者を計測（観察）する環境、例えば対象者の画像を撮影する方向等が異なると、計測データが異なることになり、例えば移動軌跡間を比較しても、有意な結果を得ることが困難である。

【0006】

例えば同一の対象者であっても、計測する環境が異なれば、時間経過前後あるいは運動指導等の指導介入前後の移動軌跡を比較しても、時間の経過あるいは指導介入による改善を把握することは困難である。また、異なる環境で観察した互いに異なる複数の対象者間で、移動軌跡等を比較しても、複数の対象者を基準として、特定の対象者の移動軌跡の状態を把握することが困難である。

【0007】

本発明の目的は、複数の計測データの比較が可能な運動可視化システムおよび運動可視化方法を提供することにある。

【0008】

本発明の他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

【課題を解決するための手段】

【0009】

本願において開示される実施の形態のうち代表的なものの概要を簡単に説明すれば下記の通りである。

【0010】

すなわち、運動可視化システムは、対象者の骨格座標情報を取得する骨格認識部と、骨格座標情報に基づいて、対象者の歩行周期を抽出する周期抽出部と、抽出された１歩行周期において、対象者の所定の部位が移動する方向を進行方向の軸とした基準座標系に、骨格座標情報の値を変換し、対象者の情報に基づいて、骨格座標情報を変換する変換部とを備えている。

【発明の効果】

【0011】

本願において開示される発明のうち、代表的な実施の形態によって得られる効果を簡単に説明すると、複数の計測データの比較が可能な運動可視化システムおよび運動可視化方法を提供することができる。

【図面の簡単な説明】

【0012】

【図1】実施の形態に係る運動可視化システムの構成を示すブロック図である。

【図2】実施の形態に係る運動可視化システムの動作を説明するためのフォローチャート図である。

【図3】実施の形態に係る深度カメラと対象者との関係を示す図である。

【図4】実施の形態に係る深度カメラと対象者との関係を示す図である。

【図5】実施の形態に係る骨格認識を説明するための図である。

【図6】実施の形態に係る１歩行周期の抽出を説明するための図である。

【図7】（Ａ）および（Ｂ）は、実施の形態に係る正規化および座標変換を説明するための図である。

【図8】（Ａ）および（Ｂ）は、実施の形態に係る正規化および座標変換を説明するための図である。

【図9】（Ａ）および（Ｂ）は、実施の形態に係る座標変換を説明するための図である。

【図10】実施の形態に係る運動可視化システムにより取得される歩行特徴を説明するための図である。

【図11】実施の形態に係る運動可視化システムにより取得される歩行特徴を説明するための図である。

【図12】実施の形態に係る運動可視化システムにより取得される歩行特徴を説明するための図である。

【図13】（Ａ）および（Ｂ）は、実施の形態に係る歩行特徴の表示方法を示す図である。

【図14】（Ａ）および（Ｂ）は、実施の形態に係る歩行特徴の表示方法を示す図である。

【図15】実施の形態に係る運動可視化システムの表示画面を示す図である。

【図16】実施の形態の変形例１に係る深度カメラと対象者との関係を示す図である。

【図17】実施の形態の変形例２に係る運動可視化システムの構成を示すブロック図である。

【発明を実施するための形態】

【0013】

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施の形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0014】

（実施の形態）
＜運動可視化システムの構成＞
図１は、実施の形態に係る運動可視化システムの構成を示すブロック図である。図１において、１は運動可視化システムを示している。運動可視化システム１は、特に制限されないが、コンピュータ１００と、深度カメラ２００と、インターネット回線３０１と、インターネット回線３０１を介してコンピュータ１００に接続されたサーバ３００とを備えている。ここでは、運動可視化システム１が、インターネット回線３０１とサーバ３００を備えている例を説明するが、これに限定されるものではない。例えば、インターネット回線３０１とサーバ３００とを除いて、コンピュータ１００と深度カメラ２００とによって、運動可視化システム１が構成されていてもよい。

【0015】

コンピュータ１００は、バスＢｕｓに接続された演算部１０１、制御部１０２、操作入力部１０３、表示部１０４、メモリ１０５、記憶部１０６、外部入出力部１０７およびネットワーク通信部１０８を備えている。制御部１０２は、記憶部１０６に予め格納されているプログラム等を、例えばメモリ１０５に読み出し、メモリ１０５に読み出されたプログラムを実行する。勿論、制御部１０２は、記憶部１０６に予め格納されているプログラムを、メモリ１０５に読み出すことなく、実行するようにしてもよい。この場合、プログラムの実行の際に、メモリ１０５は例えばワーク用のメモリとして用いられる。

【0016】

演算部１０１は、制御部１０２によってプログラムが実行される際の演算を行うのに用いられる。また、外部入出力部１０７も、制御部１０２によってプログラムが実行される際に用いられる。実施の形態では、深度カメラ２００が、外部入出力部１０７に接続されている。プログラムを実行することにより、制御部１０２は、外部入出力部１０７を用いて、深度カメラ２００を制御し、深度カメラ２００によって撮影した画像データを、外部入出力部１０７を介して取得する。

【0017】

操作入力部１０３は、例えばキーボードやマウスを備えており、キーボードやマウスを用いて、コンピュータ１００に対して入力を行う。表示部１０４は、例えば画像を表示する液晶等のモニターを備えており、コンピュータ１００によって生成された画像等を表示する。ネットワーク通信部１０８は、バスＢｕｓとインターネット回線３０１との間に接続され、コンピュータ１００とサーバ３００との間の通信を行う。例えば、コンピュータ１００によって生成されたデータは、ネットワーク通信部１０８およびインターネット回線３０１を介して、サーバ３００に送信され、サーバ３００に格納される。また、サーバ３００に格納されているデータは、ネットワーク通信部１０８およびインターネット回線３０１を介してコンピュータ１００に供給され、プログラムの実行に際して用いられる。

【0018】

記憶部１０６は、例えばハードディスクあるいはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等によって構成されている。記憶部１０６には、複数のプログラムが格納されている。また、記憶部１０６には、プログラムの実行により生成されたデータまたは／およびプログラムの実行に際して用いられるデータが格納される。記憶部１０６には、前記したように複数のプログラムおよびデータが格納されるが、図１では、実施の形態を説明するのに必要なプログラムおよびデータのみが示されている。

【0019】

図１において、２は骨格認識プログラム、３は骨格正規化プログラム、４は画面表示プログラム、５は歩行特徴計算プログラム、６はピッチ（歩行周期）抽出プログラムを示している。また、図１において、７は、記憶部１０６に格納される骨格・歩行特徴データを示している。

【0020】

制御部１０２は、前記したプログラム２～６を実行することにより、運動可視化システム１を構成する機能ユニット（機能部）が、コンピュータ１００において実現される。すなわち、骨格認識プログラム２が実行されることにより、コンピュータ１００において、骨格認識部が構成され、骨格正規化プログラム３が実行されることにより、コンピュータ１００において、変換部が構成され、ピッチ抽出プログラム６が実行されることにより、コンピュータ１００において、周期抽出部が構成され、歩行特徴計算プログラム５が実行されることにより、コンピュータ１００において、歩行特徴算出部が構成される。

【0021】

画面表示プログラム４の実行により、例えば歩行特徴計算プログラム５により生成された画像が、表示部１０４に表示される。また、例えば、骨格認識プログラム２、骨格正規化プログラム３、歩行特徴計算プログラム５およびピッチ抽出プログラム６の実行により生成されたデータが、骨格・歩行特徴データ７として、記憶部１０６に格納される。

【0022】

記憶部１０６に格納された骨格・歩行特徴データ７は、例えば、ネットワーク通信部１０８およびインターネット回線３０１を介して、サーバ３００に供給される。あるいは、サーバ３００に格納されているデータが、インターネット回線３０１およびネットワーク通信部１０８を介して、記憶部１０６に供給され、骨格・歩行特徴データ７として格納される。

【0023】

実施の形態に係る運動可視化システム１は、計測の対象者（被検者）が歩行しているときの状態を、深度カメラ２００で撮影し、撮影により得られた画像に基づいて、歩行に伴う対象者の骨格の変化を観察し、対象者の歩行特徴を、例えば表示部１０４で表示する。

【0024】

＜運動可視化システムの動作＞
図２は、実施の形態に係る運動可視化システムの動作を説明するためのフォローチャート図である。図１に示した運動可視化システム１の動作を、図１および図２を用いて、以下説明する。

【0025】

ステップＳ０で、運動可視化システム１の動作が開始する。動作を開始することにより、制御部１０２が、記憶部１０６に格納されている骨格認識プログラムの実行を開始する。これにより、ステップＳ１の画像（深度）取り込みとステップＳ２の各フレームの骨格認識とが実行される。なお、以下では、ステップＳ１とステップＳ２とを合わせて、骨格認識工程と称する場合がある。

【0026】

ステップＳ１の画像取り込みでは、深度カメラ２００を用いて、歩行中の対象者の画像が、連続的に撮影される。深度カメラ２００による対象者の撮影の状態を、図面を用いて説明する。図３および図４は、実施の形態に係る深度カメラと対象者との関係を示す図である。ここで、図３は、深度カメラ２００と対象者とを横方向から見た図面であり、図４は、深度カメラ２００と対象者とを上から見た図面である。図３および図４において、５００は対象者を示し、対象者５００は、部屋の床面４００上を、矢印で示す進行方向に向かって歩行する。深度カメラ２００は、特に制限されないが三脚のような固定部材２０１によって、床面４００上に設置されている。また、図３および図４において、２００Ｒは、深度カメラ２００の撮影範囲を示しており、Ｚ軸は、深度カメラ２００の深度方向（深度カメラ２００のレンズの光軸に沿った方向）を示し、Ｙ軸は、深度カメラ２００のレンズ面に沿った上下（Ｚ軸と直行するＹ軸）方向を示し、Ｘ軸は、同じくレンズ面に沿った左右（Ｚ軸およびＹ軸と直行するＸ軸）方向を示している。特に制限されないが、深度カメラ２００のレンズ面の中心を、Ｘ軸、Ｙ軸およびＺ軸の起点（０、０、０）とする。勿論、Ｘ軸、Ｙ軸およびＺ軸の起点は、これに限定されない。例えば、Ｙ軸の起点（０）は、床面４００としてもよい。なお、４０１は、部屋の天井面を示している。

【0027】

例えば、深度カメラ２００のレンズ面に向かって歩行するようにと、対象者に指示した場合、対象者が緊張して、通常とは異なる歩行状態となることがある。そのため、図４に示すように、対象者５００に対しては、深度カメラ２００のレンズ面とは、ずれた方向に向かって歩行するように指示する。その結果、図４に示すように、対象者５００の進行方向と深度カメラ２００の深度方向であるＺ軸とは一致しないことになる。

【0028】

深度カメラ２００によって、進行方向に向かった歩行する対象者が連続的に撮影される。連続撮影により得られた複数のフレーム（画像データ）が、外部入出力部１０７を介して、例えば記憶部１０６に、一時的に格納される。

【0029】

ステップＳ２において、制御部１０２は、例えば演算部１０１を用いて、記憶部１０６に一時的に格納された複数のフレームのそれぞれに対して、対象者の骨格を認識する骨格認識処理を実行する。図５は、実施の形態に係る骨格認識を説明するための図である。ステップＳ２が実行されることにより、図５に示すように対象者５００の関節（Ｊｏｉｎｔ）座標が取得される。図５では、一例として、取得された関節座標（骨格座標）が、Ｊ１～Ｊ２１として示されている。例えば、Ｊ３～Ｊ５は、肩の関節座標を示し、Ｊ１３～Ｊ１５は、骨盤の関節座標を示している。このときの関節座標Ｊ１～Ｊ２１の値は、深度カメラ２００に関する座標系の値である。すなわち、関節座標Ｊ１～Ｊ２１の値（ｘ、ｙ、ｚ）は、前記したＸ軸、Ｙ軸、Ｚ軸における値である。ステップＳ２が実行されることにより、図５に示したような関節座標が、各フレームに対して取得される。ここで取得された関節座標は、例えば骨格・歩行特徴データ７として、記憶部１０６に格納される。

【0030】

ステップＳ２に続いて、ステップＳ３の１歩行周期抽出（周期抽出工程）が行われる。すなわち、制御部１０２は、記憶部１０６に格納されているピッチ抽出プログラム６を実行する。ピッチ抽出プログラム６においては、各フレームに対して取得された関節座標を用いて、対象者の１歩行の周期が抽出される。図６は、実施の形態に係る１歩行周期の抽出を説明するための図である。ピッチ抽出プログラム６では、取得された関節座標を基にして、フレームごとの対象者の歩行状態５００＿１～５００＿６を判別する。実施の形態では、特に制限されないが右足を前にして、両足を開いた歩行状態５００＿１を、歩行の始点および終点とし、始点と終点との間を１歩行周期（１ピッチ）として抽出する。勿論、始点および終点は、これに限定されるものではなく、任意の歩行状態を始点および終点としてよい。なお、以下の説明では、始点の歩行状態を符号５００＿１Ｓで示し、終点の歩行状態を符号５００＿１Ｅで示す。

【0031】

次のステップＳ４において、制御部１０２は、始点の歩行状態５００＿１Ｓと終点の歩行状態５００＿１Ｅとを結ぶ直線を求め、求めた直線を進行方向の軸（進行軸）として抽出する。例えば、歩行状態５００＿１Ｓにおける骨盤の関節座標Ｊ１３と歩行状態５００＿１Ｅにおける骨盤の関節座標Ｊ１３とを結ぶ直線を進行軸として、制御部１０２は抽出する。勿論、骨盤の関節座標に限定されるものではない。特に制限されないが、ステップＳ４における進行軸の抽出は、ピッチ抽出プログラム６の一部で行われる。勿論、１歩行周期の抽出と、進行軸の抽出とを別々のプログラムによって実行するようにしてもよい。

【0032】

ステップＳ４に続いて、実施の形態では、単位長さ（胴長）を基準にＸＹＺ軸の長さを正規化するステップＳ５、Ｚ軸が進行軸と重なるように座標変換を行うステップＳ６および両足の接地面がＸ軸と平行になるように座標変換を行うステップＳ７が実行される。これらのステップＳ５～Ｓ７は、制御部１０２が、記憶部１０６に格納されている骨格正規化プログラム３を実行することにより実現される。前記した進行軸の抽出を行うプログラムはステップＳ６の一部としてもよい。この場合、ステップＳ６は座標変換工程と見なすことができる。次に図面を用いて、ステップＳ５～Ｓ７を詳しく説明する。

【0033】

＜＜正規化および座標変換＞＞
図７および図８は、実施の形態に係る正規化および座標変換を説明するための図である。ここで、図７は、対象者５００の歩行を横方向（Ｘ軸方向）から見た図であり、図８は、対象者５００の歩行を、上側（Ｙ軸方向）から見た図である。

【0034】

ステップＳ５において、対象者５００の各関節座標の値が、対象者５００の情報（基準データ）に基づいて変換される。基準データとしては、対象者５００の身長、歩幅または所定の部位の長さ等を用いることができる。ここでは、基準データとして、対象者５００の所定の部位の長さを用いる場合を説明する。また、所定の部位は、対象者５００の胴長を例とする。

【0035】

対象者５００の胴長は、肩の関節座標Ｊ３～Ｊ５と骨盤の関節座標Ｊ１３～Ｊ１５との間の長さである。基準データとしては、１フレームにおける肩の関節座標と骨盤の関節座標との間の長さ（胴長）を用いてもよいが、実施の形態においては、１歩行周期における胴長の平均値を、基準データとして用いる。ステップＳ５では、Ｘ軸、Ｙ軸およびＺ軸における各関節座標の値（ｘ、ｙ、ｚ）を、基準データを単位長さ（例えば１）としたときの値に変換する。すなわち、ステップＳ５の実行により、対象者５００の胴長を基準として、各関節座標の値が、正規化されることになる。

【0036】

図４で述べたように、深度方向のＺ軸と、対象者５００の進行方向とは異なっている。すなわち、Ｚ軸の方向とステップＳ４で求めた進行軸の方向とは異なっている。ステップＳ６では、ステップＳ４で抽出した進行軸がＺ軸と重なるように、各関節座標の値を座標変換する。すなわち、進行軸で表される進行方向をＺ軸とした基準座標系に、各関節座標の値が座標変換される。

【0037】

次に、図７および図８を用いて、正規化および座標変換を実施する前と、実施後の状態を説明する。図７（Ａ）は、正規化および座標変換を実施する前を示し、図７（Ｂ）は、正規化および座標変換を実施した後を示している。

【0038】

図７（Ａ）において、歩行状態５００＿１Ｓ、５００＿４、５００＿１Ｅには、図５と同様に、関節座標が〇で示されている。また、例示として、肩の関節座標と骨盤の関節座標には、符号Ｊ３～Ｊ５とＪ１３～Ｊ１５が付されている。正規化前であるため、Ｚ軸およびＹ軸の単位は、メートル（ｍ）である。また、骨盤の関節座標に関して、始点と終点との間を結ぶ進行軸が、符号５０１で示されている。なお、進行方向は、進行軸５０１の矢印で示されている。図７（Ａ）では、進行軸５０１は、Ｙ軸およびＺ軸の値が小さくなる方向に向いている。すなわち、対象者５００は、Ｙ軸およびＺ軸において値が小さくなる方向に向かって歩いている。

【0039】

ステップＳ５で正規化が行われるため、歩行状態５００＿１、５００＿４における関節座標（例えばＪ３～Ｊ５、Ｊ１３～Ｊ１５）は、図７（Ｂ）に示すように、胴長を基準データ（単位長さ）とした関節座標（Ｊ３Ｃ～Ｊ５Ｃ、Ｊ１３Ｃ～Ｊ１５Ｃ）に変換される。勿論、図７（Ｂ）では、Ｙ軸およびＺ軸の単位は、胴長となる。また、ステップＳ６で座標変換が行われるため、進行軸５０１とＺ軸とが重なる。図７（Ｂ）において、５００＿１ＳＣ、５００＿４Ｃ、５００＿１ＥＣは、変換後の歩行状態を示している。進行軸５０１がＺ軸と重なっているため、歩行に伴う歩行状態の変化は、Ｚ軸に沿っている。

【0040】

図８（Ａ）は、正規化および座標変換を実施する前を示し、図８（Ｂ）は、正規化および座標変換を実施した後を示している。図８（Ａ）から理解されるように、上から見た場合、対象者５００は、Ｚ軸の値が小さく、Ｘ軸の値が大きくなる方向に向かって歩いている。ステップＳ５およびＳ６が実施されることにより、歩行に伴う歩行状態５００＿１ＳＣ、５００＿４Ｃ、５００＿１ＥＣの変化は、Ｚ軸に沿っており、対象者の関節座標は、胴長を単位としたものに正規化されている。

【0041】

＜＜傾斜に関する座標変換＞＞
図９は、実施の形態に係る座標変換を説明するための図である。ここで、図９（Ａ）はステップＳ７を実施する前を示し、図９（Ｂ）はステップＳ７を実施した後を示している。

【0042】

実施の形態においては、図３に示したように、深度カメラ２００は固定部材２０１によって床面４００上に設置されている。深度カメラ２００または／および固定部材２０１の設置の仕方によっては、深度カメラ２００が床面４００に対して、左右に傾斜していることが考えられる。この場合、深度カメラ２００によって取得されたフレームにおいて、対象者は、図９（Ａ）に示すようにＸ軸に対して傾いていることになる。その結果、ステップＳ２において認識された各関節座標のＸ座標は、床面４００のＸ軸に沿っていないことになる。骨盤の関節座標Ｊ１３～Ｊ１５を例にして述べると、これらの関節座標のＸ座標は、図９（Ａ）に示すようにＸ軸に沿っていない。

【0043】

ステップＳ７においては、対象者の各関節座標のＸ座標が、床面４００（Ｘ軸）と平行になるように変換される。これにより、図９（Ｂ）に示すように、骨盤の関節座標Ｊ１３～Ｊ１５は床面４００と平行なＸ座標を持つ関節座標Ｊ１３Ｃ～Ｊ１５Ｃに変換される。骨盤の関節座標を例にして述べたが、他の関節座標も、ステップＳ７において同様に変換される。これは、例えば関節座標Ｊ１４ＣとＪ１５Ｃとの間で、Ｙ軸の値の差が小さくなるように、各関節座標のＹ軸の値を変換することで、実現される。

【0044】

実施の形態では、図２に示したように、正規化（ステップＳ５）、座標変換（ステップＳ６およびＳ７）の順に正規化および座標変換が行われている。しかしながら、これに限定されるものではなく、例えばステップＳ６およびＳ７の座標変換を実施した後に、ステップＳ５の正規化が実施されるようにしてもよい。

【0045】

図２に戻って、運動可視化システムの動作を説明する。

【0046】

ステップＳ７の次に、ステップＳ８の歩行特徴計算（歩行特徴算出工程）が実施される。すなわち、図１に示した制御部１０２は、記憶部１０６に格納されている歩行特徴計算プログラム５を実行する。この歩行特徴計算プログラム５では、ステップＳ５～Ｓ７の実行により取得された各関節座標、すなわち正規化および座標変換が施された各関節座標を用いた計算が実施される。

【0047】

歩行特徴計算プログラム５によって、歩行に伴う対象者５００の種々の特徴を取得することが可能である。ここでは、歩行特徴の例として、歩行時における左右ふらつき、歩行時における上下動、所定の部位の回旋を説明する。

【0048】

＜＜歩行特徴＞＞
図１０～図１２は、実施の形態に係る運動可視化システムにより取得される歩行特徴を説明するための図である。ここで、図１０は対象者５００の左右ふらつきを説明する図であり、図１１は対象者５００の所定の部位の回旋を説明する図であり、図１２は対象者の上下動を説明する図である。図１０～図１２において、Ｊ３Ｃ～Ｊ５Ｃ、Ｊ８Ｃ、Ｊ１１Ｃ、Ｊ１３Ｃ～Ｊ１５Ｃ、Ｊ１８ＣおよびＪ２１Ｃは、図５に示した関節座標Ｊ３～Ｊ５、Ｊ８、Ｊ１１、Ｊ１３～Ｊ１５、Ｊ１８およびＪ２１に対して、前記した正規化および座標変換を施すことにより取得された関節座標である。

【0049】

＜＜＜ふらつき＞＞＞
図１０において、５０２は、対象者５００が１周期歩行したときの所定の部位のＸ方向の移動軌跡（ふらつき軌跡）を示している。この移動軌跡５０２は、歩行特徴計算プログラム５の実行により算出される。ここでは、所定の部位として、骨盤の関節座標Ｊ１３Ｃが採用されている。そのため、移動軌跡５０２は、対象者５００が１歩行周期だけ歩行した際の、移動の遷移を表している。対象者５００が、１歩行周期歩行した場合、左右にふらついていなければ、移動軌跡５０２は、Ｚ軸と平行、あるいはＺ軸と重なっている。しかしながら、対象者５００が左右にふらついていた場合、図１０に示すように、移動軌跡５０２は、Ｚ軸を挟んで左右に変化する曲線となる。勿論、左右の一方にのみ移動軌跡５０２は変化する場合もある。これにより、対象者５００のふらつきの有無およびふらつきの大きさ（値）を特定することが可能である。

【0050】

ここでは、移動軌跡５０２を算出するために、歩行状態５００＿１ＳＣと５００＿１ＥＣとの間における骨盤の関節座標Ｊ１３Ｃの移動を用いたが、これに限定されるものではない。例えば、肩の関節座標Ｊ４Ｃの移動を、移動軌跡５０２の算出に用いてもよい。

【0051】

＜＜＜所定の部位の回旋＞＞＞
図１１において、５０３は回旋線である。図１１では、骨盤の関節座標Ｊ１３Ｃ～Ｊ１５ＣのＸ座標を結ぶ直線が回旋線５０３である。この回旋線５０３と、Ｚ軸と直行する仮想線ＶＬとの間の角度が、骨盤の回旋角度として算出される。この回旋線５０３および骨盤の回旋角度が、歩行特徴計算プログラム５の実行により算出される。対象者５００が１歩行周期歩行している期間において、それぞれのタイミングで骨盤の回旋角度を算出することにより、骨盤の回旋の推移を把握することが可能となる。

【0052】

図１１では、骨盤の回旋角度を例にして説明したが、これに限定されるものではない。例えば、肩の回旋角度を算出し、その推移を把握するようにしてもよい。

【0053】

＜＜＜上下動＞＞＞
図１２において、５０４は上下動軌跡である。上下動軌跡５０４は、対象者５００が１歩行周期歩行したときの所定の部位のＹ方向の移動軌跡を示している。この上下動軌跡５０４は、歩行特徴計算プログラム５の実行により算出される。ここでは、所定の部位として、骨盤の関節座標Ｊ１３Ｃが採用されている。そのため、上下動軌跡５０４は、対象者５００が１歩行周期だけ歩行した際の、上下の移動の遷移を表している。対象者５００が、１歩行周期歩行したとき、上下に移動していなければ、上下動軌跡５０４は、Ｙ軸において一定の値となる。しかしながら、対象者５００が、歩行中に上下に変化していた場合、図１２に示すように、上下動軌跡５０４は、Ｙ軸方向に変化する曲線となる。これにより、対象者５００の上下動の有無および上下動の大きさを把握することが可能である。図１２では、骨盤の関節座標Ｊ１３Ｃを用いているが、これに限定されない。例えば、肩の関節座標Ｊ４Ｃを用いてもよい。

【0054】

ステップＳ８において算出された種々の歩行特徴は、骨格・歩行特徴データ７として記憶部１０６に格納される。

【0055】

ステップＳ８に続くステップＳ９において、歩行特徴の算出までの処理が終了する。この後で、ユーザが、例えば操作入力部１０３（図１）を操作して、歩行特徴の表示を運動可視化システム１に指示する。この指示により、制御部１０２（図１）は画面表示プログラム４（図１）を実行する。

【0056】

次に、画面表示プログラム４の実行（表示工程）により、表示部１０４（図１）に表示される歩行特徴の例を、図面を用いて説明する。図１３および図１４は、実施の形態に係る歩行特徴の表示方法を示す図である。

【0057】

図１３は、骨格・歩行特徴データ７を基にして、対象者の左右ふらつきを表示する表示方法を示している。図１３において、１０４＿１は、表示部１０４の表示画面における一部の表示領域を示している。画面表示プログラム４は、左右ふらつきに関する関節座標の推移およびふらつき軌跡５０２を、表示領域１０４＿１上にアニメーションのように表示する。すなわち、時間の経過とともに、変化する関節座標とふらつき軌跡５０２が、表示領域１０４＿１に表示される。１歩行周期の最初の歩行状態５００＿１ＳＣにおける関節座標が、図１３（Ａ）に示されているように、表示される。その後、時間の経過とともに変化する関節座標とふらつき軌跡５０２が、順次表示領域１０４＿１上に表示され、図１３（Ｂ）に示すように、１歩行周期の最後の歩行状態５００＿１ＥＣにおける関節座標とふらつき軌跡５０２までが表示される。

【0058】

表示領域１０４＿１上に、関節座標の変化も表示する例を説明したが、これに限定されるものではない。例えば、表示領域１０４＿１上に、最初の歩行状態５００＿１ＳＣと最後の歩行状態５００＿１ＥＣの関節座標と、ふらつき軌跡５０２のみを表示するようにしてもよい。図１３のような表示を行うことにより、対象者の左右ふらつきを提示することが可能である。

【0059】

図１４は、図１３と類似している。相違点は、図１４では、骨盤の関節座標Ｊ１４Ｃ、Ｊ１５Ｃおよび回旋線が、ふらつき軌跡５０２と合わせて表示される点である。すなわち、１歩行周期における骨盤の関節座標Ｊ１４Ｃ、Ｊ１５Ｃと、回旋線（関節座標Ｊ１４ＣとＪ１５Ｃとを結ぶ直線）が、時系列で連続的に表示される。これにより、１歩行周期における対象者の骨盤の回旋の変化を提示することが可能である。

【0060】

図１４では、骨盤の回旋を示したが、これに限定されるものではない。例えば、骨盤の関節座標の代わりに、肩の関節座標Ｊ３Ｃ、Ｊ５Ｃと回旋線（関節座標Ｊ３ＣとＪ５Ｃとを結ぶ直線）を、連続的に表示するようにしてもよい。これにより、肩の回旋の変化を提示することが可能である。

【0061】

特に制限されないが、図１３および図１４においては、表示領域１０４＿１上に表示する歩行状態の個数は、予め定められた個数、例えば１０個に定めておき、同一の時間間隔の歩行状態を表示する。

【0062】

以上では、対象者の歩行により取得した関節座標に基づいた歩行特徴を表示する例を示したが、これに限定されるものではない。例えば、複数の対象者を計測することにより取得した関節座標より求めた歩行特徴、あるいは同一の対象者を異なる環境または異なる時期で計測することにより取得した関節座標より求めた歩行特徴も用いた表示を行うようにしてもよい。次に、複数の対象者を計測することにより取得した関節座標より求めた歩行特徴を用いた表示の例を、図面を用いて説明する。ここでも、複数の対象者の歩行特徴は、取得した関節座標に対して、図２に示した処理が施されているものとする。

【0063】

図１５は、実施の形態に係る運動可視化システムの表示画面を示す図である。図１５において、１０４Ｈは、画面表示プログラム４が実行されることにより、表示部１０４に表示される表示画面を示している。表示画面１０４Ｈは、複数の表示領域１０４＿１～１０４＿３を備えており、それぞれ表示領域に異なる内容が同時に表示される。図１５に示した例では、表示領域１０４＿１には、図１４で説明したものが表示されている。

【0064】

表示領域１０４＿２には、歩行特徴を用いたレーダーチャートが表示されている。レーダーチャートの項目は、対象者の歩行速度（速度）、歩幅、上下動、回旋、左右ふらつきとなっている。複数の対象者の歩行特徴に基づいて、各項目の値が設定され、今回計測した対象者（特定の対象者）の歩行特徴が、特徴線５０５によって示される。

【0065】

また、表示領域１０４＿３には、歩行特徴のうち、左右ふらつきが棒グラフによって表示されている。左右ふらつきの値が、所定の範囲に入る対象者の人数によって、左右ふらつきの分布図が形成され、表示領域１０４＿３に表示される。また、今回計測した対象者（特定の対象者）の左右ふらつきが、どの分布に属しているかが、例えば色（図１５では、ドット）によって明示される。

【0066】

このように、複数の対象者を基準として、比較を表示することにより、今回対象者に対して、複数の対象者における位置を提示することが可能である。

【0067】

また、今回対象者の以前の歩行特徴を、レーダーチャート（表示領域１０４＿２）上に重ねて表示するようにしてもよい。同様に、棒グラフ（表示領域１０４＿３）に、以前の左右ふらつきを異色で表示するようにしてもよい。これにより、例えば時間の経過または／および指導介入による改善等を、今回対象者に提示することが可能である。

【0068】

複数の対象者間の比較を行えるように、例えば表示領域１０４＿１に表示する歩行状態の個数および間隔は、対象者間で同じにしておくことが望ましい。同一の対象者に対しても、複数回表示する際には、表示領域１０４＿１に表示する歩行状態の個数および間隔は、同じにしておくことが望ましい。

【0069】

複数の対象者の歩行特徴、同一対象者の以前の歩行特徴または／および同一対象者の異環境における歩行特徴は、例えば図１に示した記憶部１０６に格納してもよいが、サーバ３００に格納するようにしてもよい。サーバ３００に格納した場合、必要に応じて歩行特徴を、インターネット回線３０１を介して運動可視化システム１に取り込むことにより、図１５に示すような表示を行うことが可能である。この場合、記憶部１０６の記憶容量が制限されていても、多くの対象者との比較が可能となる。

【0070】

＜変形例１＞
図１６は、実施の形態の変形例１に係る深度カメラと対象者との関係を示す図である。

【0071】

変形例１においては、深度カメラ２００は、床面４００に設置されるのではなく、天井面４０１に固定される。この場合、対象者５００に対して、深度カメラ２００のレンズ面に向かって歩行するように指示することが可能である。これにより、対象者５００の進行方向が、Ｚ軸と重なっている場合には、図２に示したステップＳ４およびＳ６を省略することが可能である。

【0072】

＜変形例２＞
図１７は、実施の形態の変形例２に係る運動可視化システムの構成を示すブロック図である。

【0073】

図１７は、図２と類似している。相違点は、深度カメラ２００が、ステレオカメラ２００＿１、２００＿２に変更されている点である。２個のカメラ２００＿１と２００＿２を用いることにより、対象者５００とカメラとの間の距離等を把握することが可能であるため、深度カメラを用いなくても済む。また、２個のカメラ２００＿１、２００＿２としては、複眼カメラを用いることも可能である。

【0074】

実施の形態１によれば、対象者の情報（基準データ）に基づいて関節座標の値が正規化される。複数の対象者に対して、それぞれの情報（基準データ）に基づいて関節座標を正規化することにより、複数の対象者間で、有意な移動軌跡の比較を行うことが可能である。また、同一の対象者の場合も、環境が変わったときまたは／および時間が経過したときも、同じ基準データに基づいて関節座標を正規化することにより、環境の変化または／および時間経過の影響を除いて、移動軌跡を比較することが可能となる。これにより、運動能力の時間経過に伴う改善または／および指導介入による改善を把握することが可能となる。

【0075】

さらに、実施の形態においては、対象者の進行軸が、Ｚ軸と重なるように、関節座標の座標変換が行われる。これにより、複数の対象者間でＺ軸を共通化することが可能となる。また、同一の対象者を異なる環境で計測した場合も、Ｚ軸を共通化することが可能となる。

【0076】

すなわち、複数の計測データ（関節座標、歩行特徴等）の比較が可能な運動可視化システムおよび運動可視化方法を提供することが可能である。

【0077】

実施の形態１に係る運動可視化システムおよび運動可視化方法は、例えばフィットネスクラブ、リハビリテーション施設等で、対象者を指導する運動指導者が、ユーザとして使用することが、特に有益である。すなわち、実施の形態１に係る運動可視化システムおよび運動可視化方法を運動指導者が用いることにより、複数の対象者と今回計測した対象者との比較を行うことが可能であり、表示されている歩行特徴から今回計測した対象者の特徴を直感的かつ定量的に理解し、改善につなげることが可能である。また、運動指導者は、時間の経過あるいは指導介入による改善も、直感的かつ定量的に理解することが可能である。さらに、運動指導者は、今回計測した対象者へ、図１５に示したような情報を提示しながら、対象者へ改善の状況等も説明することが可能である。

【0078】

図１５では、歩行特徴をレーダーチャーおよび分布で表示する例を示したが、これに限定されるものではない。例えば歩行特徴に関して、平均、分散等の統計的処理を行い、処理結果を表示するようにしてもよい。

【0079】

また、図９（Ａ）に示した傾きが許容できる範囲の場合には、図２に示したステップＳ７は省略してもよい。

【0080】

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

【符号の説明】

【0081】

１ 運動可視化システム
２ 骨格認識プログラム
３ 骨格正規化プログラム
４ 画面表示プログラム
５ 歩行特徴計算プログラム
６ ピッチ抽出プログラム
１００ コンピュータ
１０１ 演算部
１０２ 制御部
１０３ 操作入力部
１０４ 表示部
１０５ メモリ
１０６ 記憶部
２００ 深度カメラ
３００ サーバ
５００ 対象者
Ｊ１～Ｊ２１ 関節座標
Ｓ０～Ｓ９ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】